资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

[IEEE VR 2026] 不用巨型云端,也能养一群会感受集体情绪的河豚吗?

09-26

每位参与者拿着一台小型 tama-pager。摄像头读表情,麦克风听语气,键盘接收文字;这些信号汇成房间里的“情绪水流”,推动一群数字河豚改变性格、动作与群体行为。作品问的不是 AI 伙伴能否更聪明,而是它能否在更小的算力和共同照料中成长。

收录于 IEEE VR 2026 XR Gallery 单元的《TamagotchU!》。河豚来自创作者在长江小岛城市扬中的成长记忆,也被视为水环境健康的生物指标。作品把它变成脆弱、适应与生态互依的数字象征,并以分布式边缘设备回应大型 AI 系统的能源与资源成本。

论文图 1:多人《TamagotchU!》装置现场,参与者共同影响沉浸式投影与声音环境中的虚拟河豚群。

情绪不是个人分数,而是群体环境

参与者的表情、声音和输入文字不会只生成一只私人宠物,而会共同影响多个具有不同性格的虚拟生命。某些群体情绪组合还会触发新生的“人首鱼身”角色。装置将沉浸投影、声音和多人参与组合起来,让照料从一对一关系变成集体协商。

论文图 2:河豚手绘草图与用户情绪分析测试,展示角色原型和多模态输入的早期探索。

小设备上的多模态管线

摄像头以每秒 10 帧采集人脸,ResNet50 主干模型将表情分成中性、快乐、悲伤、惊讶、恐惧、厌恶和愤怒七类。语音在树莓派上由 Whisper-v2-base 的 C++ 运行时转写,再映射为情绪标签;键盘文字则交给轻量的 Qwen3-0.6 推断情绪意图。

论文图 3:参与者使用带摄像头和麦克风的 tama-pager,与虚拟河豚进行实时互动。

边缘设备把处理后的信号发送到中央 Unity 应用,后者持续更新 TamagotchU 的内部情绪、动画参数与行为策略。严格说来,这仍不是完全去中心化:感知计算被分散到小节点,但聚合和虚拟世界运行在中央服务器。作品的“节俭计算”更多是一种设计方向,而非已经量化的能源结论。

论文图 4:首版系统架构。边缘设备处理表情、语音与文字,再把情绪标签传给中央 Unity 应用。

如何理解这件作品

从系统设计看,三个输入通道的时间尺度并不相同:面部分类连续更新,语音需要先完成采集和转写,文字则由参与者主动输入。中央应用必须处理信号迟到、彼此矛盾与多人权重问题。论文没有说明融合规则,因此我们知道哪些模型参与了判断,却还不知道一张悲伤脸、快乐语调和讽刺文字会如何共同改变鱼群。

河豚作为长江生态象征,为算力批评提供了具体地域入口,但数字角色本身并不会自动改善真实水环境。作品更像一台价值观原型:让观众在玩耍中比较“庞大集中式智能”与“小节点协同”两种想象。若要进一步支持生态论点,还需披露设备制造、显示与中央服务器的完整能耗,而不只比较模型大小。

情感计算还涉及现场同意。摄像头和麦克风即使在本地运行,也应明确告知采集范围、是否保存原始帧和录音、参与者能否只选文字模式,以及旁观者会不会被误采。允许关闭某一输入通道,不仅保护隐私,也能让无法或不愿展示面部、声音的观众平等参与这套集体生态。

为什么值得关注

它把常见的情感计算从精准画像转向共同玩耍,并把“更大模型是否一定更好”放进可触摸的展览系统。河豚、边缘节点与群体情绪形成一致隐喻:许多小而脆弱的单位通过关系维持一个生态,而不是由单一庞大智能包办一切。

但论文没有提供总功耗、云端基线、情绪识别准确率或隐私保存策略的实测数据。七类表情并不等于人的真实情绪,语音与文字模型也可能受语言、文化与情境影响。作品提出了可信的低算力原型和生态批评,但“低能耗”“情绪智能”仍需指标、知情同意与现场数据治理来支撑。

资料来源

论文:TamagotchU!;

作者:Mingtong Li, Xijian Lou, Taoyu Chen;

会议:2026 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW);

DOI:https://doi.org/10.1109/VRW70859.2026.00409

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本内容由数艺网主动采集收录,信息来源为 “Art&Design.ai” 公开网络发布内容。第三方如需转载本内容,必须完整标注原作者信息及 “来源:数艺网”,严禁擅自篡改、删减或未标注来源转载。 并附上本页链接: 若您的内容不希望被数艺网收录,或认为此举侵犯了您的合法权益,敬请通过微信 ID:d-arts-cn 联系数艺网。我们将致以诚挚歉意,并第一时间为您办理下架或删除处理。

数字媒体艺术 新媒体艺术 科技艺术

3637 举报
  0
登录| 注册 后参与评论