资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

[SIGGRAPH 2026] 一个人只能听,一个人只能看,还能一起找到彼此吗?

前天

你听见钟声,知道它似乎来自右前方,却看不见房间。你的伙伴能看见家具和空间布局,却听不见那阵钟声。你说“再往左一点”,对方反而迷惑了:两个人的位置与朝向并不一样。要继续合作,首先得把各自感知的世界翻译给对方。

发表于 SIGGRAPH 2026 Posters 的《See What I Hear, Hear What You See: Asymmetric Cross-Modal Play in a Cooperative VR Game》,把听觉与视觉分别分配给两个玩家,探索感官不对称会带来怎样的协作、沉浸和反思。

不同的感知条件,成为合作的起点

游戏发生在一个带有超现实意味的室内空间。听觉玩家控制一个在大型物体内部移动的小角色,主要依据空间声音探索;视觉玩家从外部视点观察环境。两人通过实时语音交流,视觉玩家找到听觉玩家时,任务达成。

“只能听”与“只能看”指的是游戏环境信息的分配,双方仍然能进行语音对话。听觉角色没有完整视觉参照,视觉角色则无法直接获取环境音线索,谁都没有全部信息。

论文图 1:两位玩家的环境信息不同:听觉角色接收空间声,视觉角色观察场景,两人通过语音合作定位。视觉角色仍能听到队友对话。

场景里安排了钟表滴答、闹钟、收音机以及从窗外传入的环境音。声音方向和强度成为听觉玩家理解位置的线索,而视觉玩家能把描述关联到空间中的物件。二者必须在对话中建立对应关系。

论文图 2:房间里的声音线索布置,包括时钟、闹钟、收音机和窗外环境音。声音方向与强度帮助听觉角色探索。

原型由 Unity 开发,部署在 Meta Quest 上,网络架构同步两位玩家的位置与动作。技术基础服务于一个明确的设计选择:让合作围绕不同感知条件之间的解释展开,而不只是让两个人分头执行同样的任务。

更有趣与更有反思,可能出现在不同角色身上

研究邀请八名参与者,组成四对。每对进行两次测试并交换角色,使每个人都体验听觉与视觉条件。这样的组内安排有助于减少个体差异,但样本仍然很小,结果适合作为探索性线索。

整体评价中,角色必要性与独特性均约为四分,合作感约为 3.75 分,沉浸感约为 3.81 分。清晰度与反思洞见相对较低,说明任务可以让人感到彼此需要,也依然存在理解和体验上的阻力。

比较角色时,视觉玩家对角色必要性、沉浸感和清晰度的评分较高;听觉玩家的洞见评分则为 3.38 分,高于视觉玩家的 2.63 分。论文主要报告描述性差异,不能把这些均值写成经过显著性检验确认的效果。

论文图 4:听觉 A 与视觉 B 的主观评分对照。视觉角色在部分投入指标上较高,听觉角色洞见评分较高;这是八人研究的描述性差异。

角色偏好也呈现不同方向:更多人觉得视觉角色更有趣、更容易,听觉角色则更困难。开放回答中,有人注意到视觉受限时声音方向更突出,也有人报告距离判断困难和不确定感。较高的注意需求不自动意味着更好的体验,却可能带来不同的感知反思。

论文图 5:参与者选择听觉角色、视觉角色或相同的比例。角色偏好呈现不对称,不应据此认定贡献公平问题已经解决。

不对称可以有价值,但贡献失衡仍是问题

一个值得注意的结果是,公平性平均评分只有 2.25 分。有参与者觉得听觉角色的贡献有限,提示这套互补关系还没有充分建立。如果一个角色长期依赖另一个角色指导,却没有足够的独立作用,感官差异就可能转变为能动性不足。

沟通本身也暴露了设计机会。由于视角与朝向不同,左右等词语未必可靠,距离和声音强弱反而可能更有帮助。玩家需要建立一套共同的描述方法,才能将听见的线索与看见的物件对上。

作者据此提出,合作不必要求两种角色拥有相同体验,但需要让差异产生互补。接下来的设计可以增加听觉角色独有的信息与决策空间,让双方都拥有别人无法轻易替代的贡献。

还应保留研究范围:本研究并非针对视障群体的无障碍效果验证,也没有证明它能培养一般性的同理心。八人的短时试玩,主要提供了角色体验、感知变化和沟通困难的早期观察。

为什么值得关注

这项研究把感官分配变成一种游戏机制。一个人听见、另一个人看见,体验的核心便从共同观看,转向互相解释。对多人 XR 和参与式艺术来说,这让差异本身成为互动材料。

但独特性不能替代平等参与的机会。现有结果同时展示了不同角色的体验价值与明显的贡献失衡。值得继续推进的方向,是让两种感知都能改变任务走向,使双方既需要理解对方,也拥有被对方依赖的能力。

资料来源

论文:See What I Hear, Hear What You See: Asymmetric Cross-Modal Play in a Cooperative VR Game;

作者:Nahomi Maki, Keita Kanai, Taruto Fuyama;

会议:Special Interest Group on Computer Graphics and Interactive Techniques Conference Posters (SIGGRAPH Posters ’26), July 19–23, 2026, Los Angeles, CA, USA;

DOI:https://doi.org/10.1145/3799825.3818730

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本内容由数艺网主动采集收录,信息来源为 “Art&Design.ai” 公开网络发布内容。第三方如需转载本内容,必须完整标注原作者信息及 “来源:数艺网”,严禁擅自篡改、删减或未标注来源转载。 并附上本页链接: 若您的内容不希望被数艺网收录,或认为此举侵犯了您的合法权益,敬请通过微信 ID:d-arts-cn 联系数艺网。我们将致以诚挚歉意,并第一时间为您办理下架或删除处理。

数字媒体艺术 新媒体艺术 科技艺术

2415 举报
  0
登录| 注册 后参与评论