内容摘要

内容摘要:叙事设计与信息设计相融合是近年来设计学领域特别关注的热点之一。虽然叙事为数字化的信息设计提供了更具人性化的视角，但是虚拟世界的信息爆炸正在使得用户丧失对信息的新鲜感。在这一背景下,作为物理世界和虚拟世界之间桥梁的实体交互受到了广泛的关注。本文提出了实体交互叙事视角下的信息设计框架，并据此设计了儿童叙事交互工具TangibleTale。

关键词:叙事设计、信息设计、实体交互、人机交互

引言

叙事设计与信息设计相融合是近年来设计学领域特别关注的热点之一。2019年ChinaVis上反映新冠疫情的信息可视化作品《流动的边界》[1]就借用了电影的分场方式进行叙事。另一方面，虽然数字化的信息设计层出不穷，但值得注意的是，每天被大量数据围绕的用户正在逐渐丧失对信息的关注度和新鲜感。[2][3]为了弥合信息所在的数字世界和用户所在的物理世界之间的鸿沟，一直以来，研究者都在尝试让真实物体参与到信息设计的表达中，也就是所谓的实体交互。本文分析了基于实体交互的叙事案例，在此研究基础上进一步提出了实体交互叙事视角下的信息设计框架，设计了儿童叙事交互工具TangibleTale。

1.2019年ChinaVis信息设计邀请作品《流动的边界》

图片来源:http://www.flowingboundary.com/

实体交互叙事设计与信息设计

1.实体交互叙事设计

实体交互允许用户在界面上进行抓握、组装等物理空间的操作，这与传统的以虚拟方式呈现信息的WIMP界面范式截然不同。[4]-[6]在过去的二十年里，研究人员和设计师一直在尝试探索实体交互和叙事之间的关系，他们发现实体物在叙事视角、用户行为和角色扮演等方面起到了和虚拟信息完全不同的作用。[7]叙事设计是将叙事学研究的成果引入设计研究中，强调设计意义和形式的叙事性表现。[8]在本文中，实体交互叙事设计指的是借助实体交互的特点，或实体物(真实物体)承担部分叙事元素而展开的叙事设计。

2.信息设计

1999年日本多摩美术大学举行的国际信息设计学术研讨会上正式启用了“Information Design”这一名称。[9]从设计学的角度来看，信息设计关注的焦点是信息的呈现方式，以及如何让受众更加有效地理解信息。同时，信息设计也是设计学、计算机科学、人因学、心理学等多学科交叉和渗透的新兴领域。[10]如何对信息进行合理、有效、美观的呈现，是信息设计研究的重要内容。

“时间、空间、行为”维度下的实体交互叙事信息设计框架

1.时间:非线性、拼贴式的交互叙事

时间是叙事的重要元素之一。在传统叙事媒介中，事件大多排布在时间序列上。在实体交互中，实体物的参与重塑了叙事上的连续性。尽管人们可能无法像观看电影一样从头到尾欣赏完整的故事，但是却可以体验非线性叙事的奇妙。

例如，在美国亚特兰大的罗伯特·C.威廉姆斯造纸博物馆举办的“地方映射:超越纸张的非洲”展览中，为了弥合西方观众和传统中非部落之间的文化差异，设计者运用实体交互的叙事方法设计了以卢卡萨板(Lukasa board)为启发的新媒体桌面装置“数字记忆桌”。[11]长方形的卢卡萨板是非洲卢巴人唤起记忆的装置，在木板上散布着贝壳、五彩的珠子和雕刻的象形图案。作为记忆的符号，不同颜色的珠子和图案能够促使卢巴人回想起相关的人物和事件，这种古老的装置给了设计者启发，成为他们着手设计数字记忆桌的起点。

2.卢卡萨板(Lukasa board)

数字记忆桌由一个带有若干贝壳的多点触控桌和一个壁挂式投影共同组成。与传统叙事媒介不同的是，系统没有提供以时间为线索的叙事文本，取而代之的是由参观者主导的“叙事加工”。参观者拾起贝壳，他便开始使用系统提供的元素创建故事了。贝壳是故事的中心节点，放好贝壳后，桌面上会围绕贝壳出现圆形的数字化“菜单”和7个具有代表性的角色或场景符号:男人、女人、猫、房子等。通过拖动散落在桌面上的数字化彩色珠子，参观者可以对自己的讲述对象进行标记。例如将黄色的珠子拖动到“女人”符号旁，以代表母亲，蓝色的珠子代表孩子等。在摆完珠子、拿起贝壳后，一段根据参观者的故事生成的动画在投影上播放。参观者可以一边观看动画，一边和伙伴分享自己的故事。实体桌面允许多位参观者同时创建故事，因为参观者的记忆、现场环境和叙事状态的关系，导致参观者的叙事大多不具备起承转合和完整主线，具有一种断裂感和片段性质。当多个讲述者的叙事段落在动画中被连接起来后，由于这些叙事片段不存在时间顺序和因果关系，在观看时就形成了碎片化的叙事特点。

3.展厅中的数字记忆桌

4.交互菜单设计图

在这里，桌面装置提供的是一个整体性的叙事环境，叙事中的时间也不再是传统媒介中的线性时间序列，而是演化成一种和记忆相似的碎片化和非线性拼接。后来的参观者可以在前人留下的故事中漫游，故事被汇集在一起，在系统预设的叙事框架中发展出了若干不同的情节，共同构筑了时间序列之外的故事地图。我们能够看到，这种模拟卢卡人围坐在卢卡萨板周围讲故事的情境，被转移到了数字化的实体交互桌面上。

5.贝壳触发交互菜单

6.多名参观者同时操作,以上图片来源: https://mappingplace.lmc.gatech.edu/2014/03/01/167/

2.空间:并置、体验式的空间叙事

空间性是实体交互的一个重要特性。和基于屏幕、鼠标或键盘进行输入输出的传统图形用户界面不同，实体交互为用户提供了在空间中操作的机会。近年来，运用实体交互的方式来进行信息设计和数据呈现的研究案例很多，例如微软剑桥研究院就曾经用这种方式设计了“物理图表”(Physical Charts)[12]。“物理图表”通过机械结构和计算机程序来控制一个实体空间内的图表，并以此拉近冰冷的数据和受众之间的距离。同时，空间特性也为叙事提供了新的可能。在实体交互中，存在一个真实“在场”的物理空间，这一点和建筑、展陈等利用空间叙事媒介颇为相似。

在叙事中，时间和空间是不可分割的。[13]在实体交互叙事中，空间性主要体现在两个方面:其一，是叙事作品本身呈现出的空间性;其二，是用户参与的空间体验。

7.微软剑桥研究院开发的“物理图表”,图片来源: https://www.informationisbeautifulawards.com/showcase/504-physical-charts

很久以前，古罗马就有人针对记忆的空间特性进行研究，并输出了空间记忆的理论。该理论的核心思想是通过想象一座建筑物来帮助记忆，具体方法是将需要记忆的东西按照类别和重要性分别放入建筑物的空间内。[14]在数字记忆桌中，参与者模拟卢巴人在卢卡萨板面前进行故事建构，这里的空间叙事首先体现在记忆的空间性中。像古罗马人的空间记忆理论一样，参与者通过排布贝壳和珠子的位置来帮助自己回忆故事。在这里，贝壳和不同颜色的珠子在空间层面和叙事之间形成了一种关系，多个参与者的贝壳和珠子被并置在一起，形成了多个空间共存的故事世界。

 8.贝壳触发交互菜单

此外，除了故事本身的空间叙事性之外，空间叙事还体现在实体交互的过程之中。参观者身处博物馆内，桌面、投影、展示区域共同构成了散点式的体验空间。在这一真实的物理空间中，参观者的体验过程是:首先在数字记忆桌上用贝壳进行交互操作，讲述故事;之后观看投影墙上生成的故事动画，和其他参观者分享故事。这一体验空间通过视觉、听觉、触觉的多感官结合，还原了卢巴人讲故事的过程。

9.投影墙上生成的故事动画,图片来源: https://mappingplace.lmc.gatech.edu/2014/03/01/167/

3.行为:具有映射关系的参与式叙事

叙事中的行为，指的是角色(例如:人物或者动物等)发生的动作。在实体交互叙事设计中，行为指的是用户的行为输入，尤其是对角色动作有影响的输入。例如用户进行点击操作，如果操作改变了角色的当前状态，那么我们则称用户操作时对角色的行为产生了影响。角色的状态改变了，进而也会影响叙事。

实体交互中的行为，指的是用户输入和显示输出之间的映射。根据认知语言学中的意象图式概念，人类的行为、感觉、知觉活动中存在着一定的模式和规律，可以使我们具备有意义的、相互联系的经验[15]，这一概念能够运用到实体交互设计的行为映射中。例如生活中的“挤压”动作会令人联想起“缩小”，“拉伸”动作会令人联想起“放大”。

10.生活中的挤压拉伸和手势操作的缩小放大

MIT Media Lab实体交互组的信息设计研究项目“行板”通过运用实体交互和视觉叙事化的手法，巧妙地展示出了音乐的流动性。[16]“行板”是为钢琴初学者更好地理解音乐流动而设计的一个实体交互系统。传统的钢琴教学演奏教学应用，往往使用户的注意力集中在如何弹奏出正确的音符上，但是却忽略了音乐的流动性。这种机械的练习方式导致正确性、身体运动和演奏情感的分离，这也让初学者在练习中很难体会到音乐的情感和愉悦感。常有人将弹奏钢琴比作手指在琴键上行走，在“行板”中，为了让初学者体会到音乐的流动，研究者根据演奏者弹奏的一小段旋律，用投影在钢琴上投射出可视化的动画，用不同的角色代表不同的音阶和情绪。

 11.不同颜色的角色代表不同的音阶

在这里，真实空间中的弹奏行为和投影在钢琴上的叙事动画之间产生了映射。同时，通过设计胖子、小偷、鸵鸟等不同类型的角色，来提示演奏者对音阶的感知。例如，轻快的节奏对应瘦削角色的行走，缓慢的节奏对应肥胖角色的行走，有弹性的节奏对应蹑手蹑脚的行走，等等。在这里，用户在物理空间敲击琴键被当作系统的行为输入，不同的弹奏力度对应不同的音乐节奏，进而映射到动画的输出中，让弹奏者更好地体会到音符的情感。

12.缓慢的节奏对应肥胖的角色

13.有弹性的节奏对应小偷角色

14.音程的跨越对应角色的跳跃，图片来源:https://tangible.media.mit.edu/project/andante/

4.实体交互叙事信息设计框架

根据前面的阐述，我们提出了实体交互叙事信息设计框架。(图15)其中，行为、空间、时间是叙事中的元素，也是具有实体交互特色的三个维度。在行为维度，有实体物参与的操作拓展了交互方式;在空间维度，实体空间提供了一个真实的环境，允许用户进行叙事体验;在时间维度，因为实体交互影响了事件的排布，所以叙事体现为一种拼贴式的非线性结构。此外，行为层面的交互操作会直接影响空间环境带给用户的体验;空间不仅容纳了实体操作，且操作行为也会对空间环境和状态造成影响。因此，三个维度之间体现为一种相互影响、逐层递进的关系。

15.实体交互叙事信息设计框架图

实体交互叙事视角下的信息设计实践

1.儿童讲故事工具TangibleTale的设计思路

随着手机、平板电脑等智能移动终端设备和交互技术的普及，市面上涌现出诸多面向儿童的讲故事应用。这些应用的输入往往基于终端设备的屏幕交互，操作也以点击、滑动等为主。虽然许多设计者尝试利用终端设备的视听特点来调动儿童对叙事的兴趣，但这些常规化的交互操作对认知和精细动作尚在发展中的儿童而言却并不友好。举例来说，让一个手指动作尚未发育完全的孩子去点击手机屏幕上的一个小按钮，这对他来说是一个巨大的挑战。

著名的儿童心理学家让·皮亚杰的认知理论强调，对实际环境的触摸和感知是辅助儿童学习和成长的重要途径。因此，提供了真实输入环境的实体交互就对儿童的成长具有明显的促进作用。依据第二部分中“时间、空间、行为”三个维度构成的实体交互叙事信息设计框架，我们设计了基于实体交互桌面的儿童讲故事系统TangibleTale。系统为儿童用户提供可交互的实体角色、道具和地图，并通过视觉、听觉和触觉的多感官刺激，让儿童在电子地图上移动、旋转实体物的同时进行叙事，以此激发儿童讲故事的兴趣。

TangibleTale叙事系统由“讲故事游戏”和“故事欣赏”这两大部分组成。其中，“讲故事游戏”让儿童站在实体交互桌前，通过摆放、移动实体积木块组成的角色，以游戏的方式讲述一个童话故事。“故事欣赏”是在儿童完成故事讲述之后，系统能够自动记录儿童在桌面前操作实体积木块的行动路径，并且像一位对儿童的活动进行观察的记录员一样，帮助儿童将刚才的行为进行记录。最后，TangibleTale会将这些记录的数据进行自动转化，生成出符合游戏过程的故事绘本。

16.TangibleTable的使用流程示意图(作者团队绘制)(1.儿童站在实体交互桌前讲故事;2.移动实体角色;3.在桌面进行对话选择;4.观看生成的故事绘本)

2.TangibleTale的实体交互叙事设计

根据本文第二部分的设计框架和上述设计思路，我们构建出TangibleTale的设计模块。如图17所示，图中上半部分是实体交互叙事信息设计框架，下半部分是TangibleTale对框架的应用。

17.儿童实体交互叙事系统TangibleTale的设计模块图

在叙事时间的设计部分，TangibleTale使用了第二部分框架中描述的非线性、碎片化交互叙事。非线性叙事结构有树形、环形、星形、网状等，本案例中《小红帽》的叙事是树形结构。每位儿童用户都拥有同一个故事起点，在角色行进的过程中，根据儿童选择的道路，地图会以不同方式展开。例如，当小红帽行进到森林入口处时，如果她选择走阳光充足的森林大路，接下来她将遇到猎人;如果她走阴暗危险的森林小径，就会遇到狼。每到一个叙事节点，系统便会停顿并允许儿童和系统进行对话和选择，此时的叙事由于儿童的参与，呈现出一种非连续性的碎片状态。

18.乐高代表的角色被放置在实体交互桌面的地图上

19.乐高积木拼搭的《小红帽》故事中的角色(实体交互桌面:朱雅鑫提供)

根据框架中的空间部分，TangibleTale的空间叙事设计也考虑了“并置”和“体验”这两个方面。TangibleTale中的并置，体现在地图上同时出现的场景。在《小红帽》中，地图平铺在桌面上，场景节点分别代表事件发生的场所。就像经典的“飞行棋”游戏一样，《小红帽》的地图本身存在着“异时同图”性，即不同时间发生的场景同时出现在一张地图上。因此，TangibleTale需要在空间中表达故事发生的时间序列。为了让空间和时间对应，我们将电子游戏中的迷雾效果引入了地图设计。即，在角色行走到相应位置时，再展开该位置涉及的地图场景，而角色没有行走到的位置会显示为锁定状态。

20.地图中的1—5个交互场景节点

21.地图使用了游戏迷雾效果(以上图片为作者和团队共同制作)

此外，当角色在场景节点停驻时，系统会根据情节跳转到另一对话的叙事空间内，通过展示角色对话来提示儿童对故事情节进行选择。《小红帽》并非像经典童话那样只拥有一个固定结局，而是根据用户的输入，能够产生近20个故事走向和结局，完成“拼图式”的故事建构。

系统设计了“讲故事游戏”和“故事欣赏”两个模块，目的是提升儿童的叙事体验。在大多数同类应用中，系统会针对儿童复述故事的录音进行打分，以此对儿童的叙事能力进行评价。这种评价方式往往存在偏理性的问题，也无法评价除了故事复述之外的自由叙事。在TangibleTale中，我们通过系统的自动生成功能，在设备上播放根据叙事行为生成的绘本，为儿童提供了一种更加灵活的方式来回顾自己的叙事，并促使儿童在欣赏和回顾的过程中展开反思。

在TangibleTale的叙事行为设计中，通过对儿童游戏行为的观察，我们确定了输入和角色动作之间的映射关系。在生活中，孩子经常会一边拿着玩具玩耍，一边咿咿呀呀地编创故事。有时，孩子会手握小汽车从A点运动到B点，以模仿汽车的行进;或是拿着毛绒玩具从A点在空中划一条弧线运动到B点，模仿玩具的“跳跃”或“飞翔”。根据上述观察，TangibleTale中的行为映射具体如下:如图22—24所示，当儿童将交互桌面上的角色紧贴桌面，从1点移动到2点时，这一输入行为将映射为角色的行走;当儿童把角色从1点拿起来，在空中经过2点划出一道弧线再落到3点时，这一输入行为将映射为角色的跳跃;当两个角色在桌面上的距离发生改变，由远及近直至最终相碰时，这一输入行为将映射为角色的相遇。因为存在于真实的物理空间，实体交互可以突破屏幕和固有输入设备的限制，将叙事行为设计拓展到空间中。

22.移动输入对应角色行走

23.在空中划过的行为输入对应角色跳跃

24.相碰对应角色相遇

通过TangibleTale的案例设计，笔者进一步明确了将实体交互叙事引入信息设计的维度和框架。无论是拼接式的叙事结构、真实物理空间内的叙事体验，还是摆脱了传统操作方式的实体操作，这些都为信息设计提供了全新的探索与视角。

结语

本研究旨在讨论实体交互叙事视角下的信息设计，以丰富和提升信息传递的效果和体验。首先，本文阐述了实体交互叙事设计、信息设计的基本概念。其次，对设计案例“数字记忆桌”“行板”进行分析，提出了实体交互叙事信息设计的框架，并从叙事的时间、空间、行为这三个维度对框架进行了阐述。具体包括:其一，时间维度，具有非线性、拼贴式的交互叙事特点;其二，空间维度，具有并置、体验式的空间叙事特点;其三，行为维度，具有相互映射、参与式叙事特点。最后，我们运用上述框架设计了实体交互儿童叙述工具TangibleTale，并且发现实体交互叙事这一具有空间特性的叙事形态，为提升信息设计的体验提供了更多可能性。

通过构建儿童叙事工具TangibleTale，能够看出实体交互叙事和信息设计的融合，在设计层面具有一定的创新性。如果说叙事设计为信息设计带来了人性化的体验，那么实体交互叙事设计则带来了非线性、空间化、基于实体操作的全新叙事体验，并且通过视觉、听觉、触觉等多维度的感官刺激，激发了受众对信息的主动探索。