舞台创作中，起源于建筑光影秀的3D Mapping技术的引入，虚拟影像与舞台装置紧密结合，共同营造立体魔幻的视觉效果，虚拟预演（Previsualization）越来越重要。

现以2019年10月，在郑州市奥林匹克体育中心体育馆举行的第十一届全国少数民族传统体育运动会闭幕式交接旗仪式“海南8分钟”的多媒体设计为例，进行阐述。

第十一届少数民族传统体育运动会开闭幕式中运用增强现实技术的效果

其舞台设计由空中多变的网幕装置和地面巨幅投影两部分组成。网幕装置由三层网幕组成同心圆，悬挂在场地中央的上空，用“圆”的意象突出各民族同胞围绕一个中心，紧密团结，铸牢中华民族共同体的概念。如图1所示，网幕装置由轻型透明网幕构成，通过威亚数控技术手段，实现自由升降，并以灵活多变的形态呈现影像（大致可以构成12种形态）与地面投影相呼应，构成气势宏大的视频影像内容，以多彩、浪漫的手法展现主题。中心地面投影区为110 m×70 m，影像分辨率最大达到8 600×5 473像素）；两侧入场/出场地面投影区均为63 m×23.5 m，影像分辨率达4 925×1 837像素；同心圆“网幕装置”，三层网幕共75块，每块宽4.4 m，高10 m，影像分辨率为2 640×540素达。

图1 同心圆网幕装置主要的几种形态变化（图片由锋尚世纪传媒股份有限公司提供）

运用3D Mapping技术创作的巨幅地面投影影像，使演员融入其中，创造更加立体生动的视觉效果。体育场两侧二层入口与中心舞台连接，形成联通南北的“幸福之路”，与中心舞台一道作为地面投影的介质（见图1中的6），展现此次盛会“中华民族一家亲，同心共筑中国梦”的主题。多媒体影像设计需要结合舞台装置进行整体考虑，地面巨大画幅的影像和同心圆网幕装置影像相呼应。

复杂多变的立体舞台，3D Mapping的运用，使得传统绘景的平面式视频设计经验不再适用。近年来复杂的大型演出均通过虚拟预演软件来设计视觉效果、辅助编排调度。

预演软件能通过搭建虚拟舞台与影像配合，清晰直观地模拟舞台最终呈现的视觉效果，给设计师提供参考，使设计师在创作时能综合考虑，把握整体进行设计。在使用预演软件的创作中，还可以与虚拟现实技术相结合，创作者戴上眼镜，能够以观众的视角身临其境地感受现场舞台效果（见图4），在舞台搭建前就获得更直观的演出体验，对于创作者确定舞台中影像元素与演员大小的比例、演员在舞台上的调度、渲染的角度等都能起到辅助作用。

图4 将预演软件与虚拟现实技术结合的创作环境

增强现实技术应用于演出，拓展了真实舞台空间的边界，甚至创造了新的空间，实现了多重元素的互动，也给观众带来身临其境的演出环境。

增强现实是指透过摄影机影像的位置及角度结合图像精算分析技术，让影像的虚拟世界场景与现实世界景物进行结合与互动的技术。对于在电视、网络直播中呈现增强现实效果的节目，需要前期设计好特效，作为现场舞台效果的延伸，表现实景难以呈现的魔幻效果，但现场的观众是欣赏不到的。增强现实在舞台（大型展演的电视、网络直播）中的应用同样越来越广泛，模糊了舞台空间的边界，实现了多重元素的互动，带给观众更具沉浸感和视觉冲击力的体验。

日本新媒体艺术家真锅大度在日本电音天团Perfume的演出直播中，将交互、增强现实等虚拟技术与摄像机追踪相结合，获得惊艳的视觉效果、沉浸感和视觉冲击力。在直播中，在摄像机运动镜头中的真实舞者画面加入虚拟舞者，随着镜头的拉近推远舞者表演的环境不断变化，两者交替闪现，时而站在遍布代码的虚幻空间，时而置身现代城市的高楼天台，使观众随之游走在现实与虚拟之间（见图5）。

图5 Perfume演出直播中加入增强现实的呈现效果

交互编程和实时渲染引擎的发展，也使创作者不再满足于之前制作动画视频影像让演员配合影像表演的假交互。实时交互技术带来的自由开放、科技感、未来感、沉浸式体验，在演出中的应用日渐普遍。

2017年，笔者在演出中创作了动画影像配合舞蹈的假交互作品《雨》。根据舞台大小制作视频，保证虚拟动画元素与真实演员的比例不失真。演出时，舞者根据影像进行互动表演，如舞者顶着“狂风暴雨”打开“伞”，“伞”被风吹走；舞者推开“窗户”，“玻璃”振碎；舞者与另一个自己一起“踢球”“射门”等（见图9）。演出时演员需要严格根据视频内容表演，不可即兴自由发挥。

图9 动画影像配合舞蹈的假交互作品《雨》

而实时交互则使多媒体设计师和舞者有更自由的发挥空间，通过由交互编程软件和跟踪设备（包括光学摄像头和可穿戴跟踪设备，前者如Kinect，Realsense，后者如惯性动作捕捉仪)构成的交互系统将舞者位置信号实时捕捉，并传递给交互编程软件、实时渲染引擎，由其实时生成视觉特效与舞者互动。这样的系统可以摆脱场地的限制，只需搭建简单的交互跟踪设备，编写交互程序，而不需要制作动画视频。另一方面，给使用者也带来创作、运用的空间，例如教学课堂上运用交互系统进行即兴创作，激发学生的的编舞兴趣（见图10中的3）；在各类展示现场，运用交互使观众获得沉浸式体验（见图10中的2）；在社区搭建的临时舞台，将交互体验带入社区（见图10中的1）。

图10 实时交互使舞者可以在任何地方即兴创作

舞台演出中，可以见到声音、影像、灯光、激光、机械臂，甚至无人机等越来越多技术手段，且多种技术手段融合运用，呈现的形式更加丰富、多元。

在舞台演出中，技术的综合运用促使交互的形式更加丰富，不再局限于视频影像与演员表演的交互，影像、灯光、激光、机械臂、无人机等视觉元素之间的交互开始流行。

以2019年丰田汽车在西双版纳举行的Toyota RAV4发布会为例，创作者使用编程软件Touchdesigner结合渲染引擎Notch创作影像，使其与激光进行交互呈现，激光从舞台后区一束束投射在屏幕上，渲染引擎通过算法捕捉激光位置，实时生成影像配合激光互动。激光在屏幕上产生红点，如涟漪般晕染开来（见图12），瞬间激光又化身切割机，将屏幕上的巨石影像切割开来，红色火花粒子伴随着激光点运动轨迹而溅起。

图12 Toyota RAV4发布会中激光与影像产生交互（图片由DIGITAL FUN工作室提供）

当下，科技与艺术结合的黄金时代，

但技术革新在丰富效果、提升效率的同时

也随之带来了一些问题

因此，创作中独特的审美和创意显得尤为重要，

要继续探索科技与艺术的跨界融合，

创作出彰显民族文化和时代特征的优秀作品。

节选自《演艺科技》2020年第3期  吴 振《多媒体技术在舞台应用中的发展》，转载请标注：演艺科技传媒。更多详细内容请参阅《演艺科技》。

（本文仅用于行业交流学习，并不用于商业用途。文中观点为作者独立观点。如不慎侵涉第三方权益，请与我们联络，我们将第一时间删除处理。）