- 0
- 0
- 0
分享
- [IEEE VR 2026] 不用巨型云端,也能养一群会感受集体情绪的河豚吗?
-
09-26

每位参与者拿着一台小型 tama-pager。摄像头读表情,麦克风听语气,键盘接收文字;这些信号汇成房间里的“情绪水流”,推动一群数字河豚改变性格、动作与群体行为。作品问的不是 AI 伙伴能否更聪明,而是它能否在更小的算力和共同照料中成长。
收录于 IEEE VR 2026 XR Gallery 单元的《TamagotchU!》。河豚来自创作者在长江小岛城市扬中的成长记忆,也被视为水环境健康的生物指标。作品把它变成脆弱、适应与生态互依的数字象征,并以分布式边缘设备回应大型 AI 系统的能源与资源成本。

论文图 1:多人《TamagotchU!》装置现场,参与者共同影响沉浸式投影与声音环境中的虚拟河豚群。
情绪不是个人分数,而是群体环境
参与者的表情、声音和输入文字不会只生成一只私人宠物,而会共同影响多个具有不同性格的虚拟生命。某些群体情绪组合还会触发新生的“人首鱼身”角色。装置将沉浸投影、声音和多人参与组合起来,让照料从一对一关系变成集体协商。

论文图 2:河豚手绘草图与用户情绪分析测试,展示角色原型和多模态输入的早期探索。
小设备上的多模态管线
摄像头以每秒 10 帧采集人脸,ResNet50 主干模型将表情分成中性、快乐、悲伤、惊讶、恐惧、厌恶和愤怒七类。语音在树莓派上由 Whisper-v2-base 的 C++ 运行时转写,再映射为情绪标签;键盘文字则交给轻量的 Qwen3-0.6 推断情绪意图。

论文图 3:参与者使用带摄像头和麦克风的 tama-pager,与虚拟河豚进行实时互动。
边缘设备把处理后的信号发送到中央 Unity 应用,后者持续更新 TamagotchU 的内部情绪、动画参数与行为策略。严格说来,这仍不是完全去中心化:感知计算被分散到小节点,但聚合和虚拟世界运行在中央服务器。作品的“节俭计算”更多是一种设计方向,而非已经量化的能源结论。

论文图 4:首版系统架构。边缘设备处理表情、语音与文字,再把情绪标签传给中央 Unity 应用。
如何理解这件作品
从系统设计看,三个输入通道的时间尺度并不相同:面部分类连续更新,语音需要先完成采集和转写,文字则由参与者主动输入。中央应用必须处理信号迟到、彼此矛盾与多人权重问题。论文没有说明融合规则,因此我们知道哪些模型参与了判断,却还不知道一张悲伤脸、快乐语调和讽刺文字会如何共同改变鱼群。
河豚作为长江生态象征,为算力批评提供了具体地域入口,但数字角色本身并不会自动改善真实水环境。作品更像一台价值观原型:让观众在玩耍中比较“庞大集中式智能”与“小节点协同”两种想象。若要进一步支持生态论点,还需披露设备制造、显示与中央服务器的完整能耗,而不只比较模型大小。
情感计算还涉及现场同意。摄像头和麦克风即使在本地运行,也应明确告知采集范围、是否保存原始帧和录音、参与者能否只选文字模式,以及旁观者会不会被误采。允许关闭某一输入通道,不仅保护隐私,也能让无法或不愿展示面部、声音的观众平等参与这套集体生态。
为什么值得关注
它把常见的情感计算从精准画像转向共同玩耍,并把“更大模型是否一定更好”放进可触摸的展览系统。河豚、边缘节点与群体情绪形成一致隐喻:许多小而脆弱的单位通过关系维持一个生态,而不是由单一庞大智能包办一切。
但论文没有提供总功耗、云端基线、情绪识别准确率或隐私保存策略的实测数据。七类表情并不等于人的真实情绪,语音与文字模型也可能受语言、文化与情境影响。作品提出了可信的低算力原型和生态批评,但“低能耗”“情绪智能”仍需指标、知情同意与现场数据治理来支撑。
资料来源
论文:TamagotchU!;
作者:Mingtong Li, Xijian Lou, Taoyu Chen;
会议:2026 IEEE Conference on Virtual Reality and 3D User Interfaces Abstracts and Workshops (VRW);
DOI:https://doi.org/10.1109/VRW70859.2026.00409
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本内容由数艺网主动采集收录,信息来源为 “Art&Design.ai” 公开网络发布内容。第三方如需转载本内容,必须完整标注原作者信息及 “来源:数艺网”,严禁擅自篡改、删减或未标注来源转载。 并附上本页链接: 若您的内容不希望被数艺网收录,或认为此举侵犯了您的合法权益,敬请通过微信 ID:d-arts-cn 联系数艺网。我们将致以诚挚歉意,并第一时间为您办理下架或删除处理。




