- 0
- 0
- 0
分享
- [SIGGRAPH 2026] 一个人只能听,一个人只能看,还能一起找到彼此吗?
-
前天

你听见钟声,知道它似乎来自右前方,却看不见房间。你的伙伴能看见家具和空间布局,却听不见那阵钟声。你说“再往左一点”,对方反而迷惑了:两个人的位置与朝向并不一样。要继续合作,首先得把各自感知的世界翻译给对方。
发表于 SIGGRAPH 2026 Posters 的《See What I Hear, Hear What You See: Asymmetric Cross-Modal Play in a Cooperative VR Game》,把听觉与视觉分别分配给两个玩家,探索感官不对称会带来怎样的协作、沉浸和反思。
不同的感知条件,成为合作的起点
游戏发生在一个带有超现实意味的室内空间。听觉玩家控制一个在大型物体内部移动的小角色,主要依据空间声音探索;视觉玩家从外部视点观察环境。两人通过实时语音交流,视觉玩家找到听觉玩家时,任务达成。
“只能听”与“只能看”指的是游戏环境信息的分配,双方仍然能进行语音对话。听觉角色没有完整视觉参照,视觉角色则无法直接获取环境音线索,谁都没有全部信息。

论文图 1:两位玩家的环境信息不同:听觉角色接收空间声,视觉角色观察场景,两人通过语音合作定位。视觉角色仍能听到队友对话。
场景里安排了钟表滴答、闹钟、收音机以及从窗外传入的环境音。声音方向和强度成为听觉玩家理解位置的线索,而视觉玩家能把描述关联到空间中的物件。二者必须在对话中建立对应关系。

论文图 2:房间里的声音线索布置,包括时钟、闹钟、收音机和窗外环境音。声音方向与强度帮助听觉角色探索。
原型由 Unity 开发,部署在 Meta Quest 上,网络架构同步两位玩家的位置与动作。技术基础服务于一个明确的设计选择:让合作围绕不同感知条件之间的解释展开,而不只是让两个人分头执行同样的任务。
更有趣与更有反思,可能出现在不同角色身上
研究邀请八名参与者,组成四对。每对进行两次测试并交换角色,使每个人都体验听觉与视觉条件。这样的组内安排有助于减少个体差异,但样本仍然很小,结果适合作为探索性线索。
整体评价中,角色必要性与独特性均约为四分,合作感约为 3.75 分,沉浸感约为 3.81 分。清晰度与反思洞见相对较低,说明任务可以让人感到彼此需要,也依然存在理解和体验上的阻力。
比较角色时,视觉玩家对角色必要性、沉浸感和清晰度的评分较高;听觉玩家的洞见评分则为 3.38 分,高于视觉玩家的 2.63 分。论文主要报告描述性差异,不能把这些均值写成经过显著性检验确认的效果。

论文图 4:听觉 A 与视觉 B 的主观评分对照。视觉角色在部分投入指标上较高,听觉角色洞见评分较高;这是八人研究的描述性差异。
角色偏好也呈现不同方向:更多人觉得视觉角色更有趣、更容易,听觉角色则更困难。开放回答中,有人注意到视觉受限时声音方向更突出,也有人报告距离判断困难和不确定感。较高的注意需求不自动意味着更好的体验,却可能带来不同的感知反思。

论文图 5:参与者选择听觉角色、视觉角色或相同的比例。角色偏好呈现不对称,不应据此认定贡献公平问题已经解决。
不对称可以有价值,但贡献失衡仍是问题
一个值得注意的结果是,公平性平均评分只有 2.25 分。有参与者觉得听觉角色的贡献有限,提示这套互补关系还没有充分建立。如果一个角色长期依赖另一个角色指导,却没有足够的独立作用,感官差异就可能转变为能动性不足。
沟通本身也暴露了设计机会。由于视角与朝向不同,左右等词语未必可靠,距离和声音强弱反而可能更有帮助。玩家需要建立一套共同的描述方法,才能将听见的线索与看见的物件对上。
作者据此提出,合作不必要求两种角色拥有相同体验,但需要让差异产生互补。接下来的设计可以增加听觉角色独有的信息与决策空间,让双方都拥有别人无法轻易替代的贡献。
还应保留研究范围:本研究并非针对视障群体的无障碍效果验证,也没有证明它能培养一般性的同理心。八人的短时试玩,主要提供了角色体验、感知变化和沟通困难的早期观察。
为什么值得关注
这项研究把感官分配变成一种游戏机制。一个人听见、另一个人看见,体验的核心便从共同观看,转向互相解释。对多人 XR 和参与式艺术来说,这让差异本身成为互动材料。
但独特性不能替代平等参与的机会。现有结果同时展示了不同角色的体验价值与明显的贡献失衡。值得继续推进的方向,是让两种感知都能改变任务走向,使双方既需要理解对方,也拥有被对方依赖的能力。
资料来源
论文:See What I Hear, Hear What You See: Asymmetric Cross-Modal Play in a Cooperative VR Game;
作者:Nahomi Maki, Keita Kanai, Taruto Fuyama;
会议:Special Interest Group on Computer Graphics and Interactive Techniques Conference Posters (SIGGRAPH Posters ’26), July 19–23, 2026, Los Angeles, CA, USA;
DOI:https://doi.org/10.1145/3799825.3818730
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本内容由数艺网主动采集收录,信息来源为 “Art&Design.ai” 公开网络发布内容。第三方如需转载本内容,必须完整标注原作者信息及 “来源:数艺网”,严禁擅自篡改、删减或未标注来源转载。 并附上本页链接: 若您的内容不希望被数艺网收录,或认为此举侵犯了您的合法权益,敬请通过微信 ID:d-arts-cn 联系数艺网。我们将致以诚挚歉意,并第一时间为您办理下架或删除处理。




