摘要：扩展现实技术（XR）在影像创作的制作技术和创作方法等方面具有广阔的创新空间，在审美体验方面的研究具有持续探索和实验的巨大价值。本文以拍摄扩展现实实验剧《琵琶行》为例，在应用扩展现实技术进行影像创作方面进行了尝试。

0 序言

扩展现实技术（Extended Reality，缩写为XR）于2019年首次应用于NBA赛事的直播，之后便迅速在有关电视节目中运用。2020年5月17日，在“美国偶像”大结局中，美国女歌手凯蒂?佩里（Katy Perry）与XR Studios 公司合作，利用XR技术为歌曲《雏菊》创造了虚拟体验，歌手实时在现实场景和动漫世界中来回跳转。演出使用XR技术远程协助拍摄，是XR技术在演艺领域的成功尝试。

我国的演出行业也密切关注着XR技术的发展，并有了一些尝试，但由于其所涉及的技术对创作构思、设备、操作配合等方面的要求非常高，所以具有典型价值的作品还不多。但是从其超强的视觉表现力和气氛渲染力来看，其在影视、舞台等演艺领域的发展前景不可估量。本文以中国艺术科技研究所（以下简称：艺科所）编创拍摄的基于XR技术的实验性短剧《琵琶行》为例，探讨XR技术在沉浸式体验中所营造的身临其境感，和由此为演艺带来的“无限扩展”的表现空间等热点话题。

1 XR实验剧《琵琶行》创作简述

1.1 XR技术释

XR技术是聚合了虚拟现实技术（Virtual Reality，缩写为VR）、增强现实技术（Augmented Reality，缩写为AR）和混合现实技术（Mixed Reality，缩写为MR），利用硬件设备结合多种技术手段，将虚拟的内容和真实场景相融合，“重置”人物/景物在时空中的关系。

利用XR技术进行拍摄时，通过摄像机追踪与实时图像渲染技术将电脑构建的虚拟场景与摄像机拍摄的真实场景即时融合，摄像机所拍摄的人物便可自由地畅游在虚拟场景之中，从而创造出“无限空间感”的影像世界。

利用XR技术拍摄所需环境的搭建如图1所示。

1.2 XR技术的特

XR技术最直观的特点就是“所见即所得”，可使拍摄对象与虚拟场景更好地融合，实现近乎场景还原的效果，避免了运动画面中电脑渲染画面与实景画面在透视、环境光效等后期制作难以完全统一的问题。XR技术一改过去“电脑渲染”“绿幕拍摄”“后期抠绿”合成的创作模式，将传统制片前期准备、拍摄、后期制作等阶段整合成为连续的工作流程，极大减少了工作量，缩短了制作周期，在拍摄制片方面具有无以伦比的技术优势。

XR技术的实现需要完善的专业技术团队支撑，从艺术作品的创意出发、到建模贴图等数字内容的制作，再到电脑渲染合成，最后完成实时视频流输出，对技术性和创造性具有很高的专业性要求。

2 XR技术在实验剧《琵琶行》中的设计

2.1 构成系统

以XR实验剧《琵琶行》摄制为例，XR视觉系统由以下几个关键部分构成。

首先是LED显示屏构成的环形幕墙和地屏。由屏幕构成的背景画面和光源，统一由视觉服务器管理控制，形成背景影像。

其次是加载三维定位系统的摄像机与视觉服务器联动。摄像机视角所在之处由视觉服务器感知并在摄像机视角内输出应对背景影像，从而使摄像机拍摄的实景人物、实物与背景画面实现同步透视。

最后在视觉服务器上运行，由电脑制作的虚拟场景二次叠加，实现画面层次的遮蔽与转换，构成完整的XR视觉输出影像。

2.2 特点优势2.2.1 画面质感所带来的冲击

传统绿幕拍摄的后期抠像过程繁琐复杂，在演员和实物表面形成的绿色反光会破坏画面质感和画面一致性。同时，绿幕拍摄必须固定摄像机视角，否则后期制作时，画面就会出现透视关系错位的问题，造成失真。而XR专用摄像机拍摄视角的透视关系与背景画面协同一致，这就使得运镜拍摄灵活性大增，镜头表现力更强。

2.2.2 制作成本大幅下降

这主要表现在场景制作和拍摄两个方面。以XR实验剧《琵琶行》为例，其场景制作大都是通过3D建模，配合相应的材质、灯光等实现的，无疑比采用实景拍摄节省了人力、物力、财力和时间等多方面的成本。在拍摄方面，例如拍摄自然光环境中的江边画面，每天只有较短的时间可用于拍摄，如效果不理想，就可能需要为一个镜头连续多天进行拍摄。而采用XR技术拍摄，光线条件可以预设并保持不变，直到拍摄满意为止。这不仅减轻了演员的负担，使其在表演上有了更大的自由度，还大大地节省了拍摄时间，降低了拍摄成本。

2.2.3 影像表达自由度的极大提高

通过数字内容的制作，从微观的尘埃到广袤的宇宙，从飘落的花瓣到高山之巅，只要想象力可以触及，XR技术均能完美实现，从而使影视作品摆脱现实条件的羁绊。

2.3 XR拍摄影棚与舞台

XR实验剧《琵琶行》在位于北京的BLUEBOX XR Studios影棚进行了最终的拍摄合成，利用其26 m×7 m的环形幕墙摄像机能够完成复杂的运镜，实现了从近景特写到远景俯瞰各种视角的自由变换；基于幕墙的虚拟场景更有利于演员走位拍摄，使演员的表演更加自由；同时虚实场景相互融合，为拍摄创造更多表现的可能性，满足宏大叙事的需求。

此次配合 XR 拍摄使用了 BROMPTON 处理器、disguise虚拟渲染系统、ARRI电影级拍摄灯光器材，以及VICON动作捕捉系统，达到了电影级的XR拍摄需求。同时还在动作捕捉、背景渲染、影像即时合成等方面配备了目前较全面的硬件系统配置。

为满足XR拍摄的运镜需求，使用了MRMC自动化的运镜机械臂，其出色的阻尼特效技术突破了运镜的线性运动的限制，使镜头的情感表达更为细腻，精准完成了复杂的运镜控制，使编创人员丰富的想象力得以展现。

拍摄使用了MOSYS-Star Tracker摄像机，其通过光学跟踪系统，实时与整体系统的坐标信息、旋转参数以及镜头数据进行精准匹配，实现摄像机与服务器画面的三维同步，为调整系统、匹配镜头和保证动作效果方面提供了保证。

除此之外，还搭配了包括ARRI灯光系统、Sony讯道系统、自动机器人以及附件系统在内的多套组件系统，使XR拍摄呈现出绚烂多彩的视听效果。XR实验剧《琵琶行》排演拍摄工作如图2所示。

XR实验剧《琵琶行》是艺科所自主科研课题“扩展现实技术（XR）在‘传统文化两创’中的应用研究”的重要成果。该剧从创作研发到完成拍摄历时一年半，这是艺科所探索互动媒体技术领域的突破性尝试。

XR实验剧《琵琶行》再现了中国唐代叙事诗名篇《琵琶行》中“江头送别”这一诗意场景。通过对虚拟场景的扩展，实现了叙事空间的实时延伸，实时将真人演员的表演与AR技术特效叠加，是其与传统影像表现的最大区别。XR拍摄通过三维沉浸式场景构建、AR实时追踪与交互、摄像机追踪、实时图像渲染等技术相互配合，将所构建的虚拟场景与摄像机拍摄画面即时融合，达到了拍摄制作工序全流程同步。

3.2 三维沉浸式场景的构建与虚幻引擎3.2.1 虚拟场景

拍摄XR实验剧《琵琶行》，首先需建构弧形LED幕墙＋地屏+实景所组成的三维半沉浸式空间。通过VR技术进行三维虚拟场景的设计，形成摄像机拍摄视角的沉浸式效果，再加上舞台最前端的AR特效，就能增强整个舞台的层次感和神秘感。同时该层次的虚拟特效可以通过对真人演员动作的追踪进行交互。

3.2.2 虚幻引擎

XR 实验剧《琵琶行》的虚拟场景是在虚幻引擎（Unreal Engine）中预制的。预制前，在maya等软件中建模，导入引擎，添加灯光和纹理，设置动画并提前做好交互测试。虚幻引擎善于制作具象复杂的场景，拥有更多封装完整的工具及插件作为辅助，快捷打造逼真效果。虚幻引擎可将LED幕墙和摄像机追踪的层级（即现实的LED半沉浸式场景和沉浸式VR虚拟场景）分开，最后通过摄像机捕捉技术，将VR虚拟场景叠加到现实中的半沉浸式环境中，给观众带来沉浸感，并消除围合式屏幕所带来的物理视觉透视感。

3.3 AR实时追踪与交互

XR实验剧《琵琶行》采用了外向内光学追踪系统，围绕影棚部署的一套固定的红外线摄像机会寻找影棚内指定的标记，通过多台摄像机中重叠部分的比较来计算三维空间中的位置信息。录制现场采用Mo-sys光学摄像机追踪系统，可使摄像机镜头360°旋转跟踪目标、自动调整焦距，并实时提供追踪目标的准确位置、镜头旋转角度和镜头数据。该追踪系统与红外线系统比较具有较多优势，不需要顾虑其他光源对系统的影响，对于任何照明灯光都没有限制。利用该系统可以实现将视觉特效从相机最前端移动到某个实体景物后端的想法。

3.4 技术路线

实时虚拟环境和增强现实影像共同创建构成了XR实验剧《琵琶行》的主要技术路线，包括3D仿真场景特效与LED幕墙的映射、虚拟环境的影像设计、增强现实的影像设计三个部分的内容。媒体服务器负责控制场景灯光、颜色校准、拍摄现实环境的摄像机镜头和空间映射等，XR场景由 LED 幕墙、灯光、演员的表演还有追踪摄像机来完成构建。AR增强现实特效由安装在摇臂的红外摄像机追踪设备实时输出。技术路线如图3所示。

4 XR技术在实验剧《琵琶行》中的实现

4.1 实施阶段的关键环节
4.1.1 XR场景建构与传统文化艺术的结合

当前，XR技术与中国传统文化艺术结合的演艺形式正逐渐兴起。

为了恰当地增强和扩展传统文化艺术元素的表现，使舞台得到多维度体现，XR实验剧《琵琶行》需要根据书法、绘画、建筑等艺术内容的需求进行场景搭建。搭建XR场景就是本项目所需攻克的技术重点和难点。

4.1.2 沉浸式VR场景和实时AR特效

沉浸式VR场景设计应符合传统文化艺术表演的场景要求，传达其独特的意蕴之美。在此基础上，需运用摄像头追踪技术实时改变场景的可视化角度和维度以实现虚拟沉浸感。同时，在场景的前端施加AR特效以增强现实和虚拟场景的空间层次感，配合摄像机的目标追踪技术，达到增强演艺现场的氛围的目的，给演员创造更好的现场交互感和体验感。

4.2 实施方案4.2.1 提升虚拟美术部门数字内容制作质量

虚拟美术部门（virtual art department，缩写为VAD）的主要职责是开发实时的数字内容，用于拍摄的模型及场景。VAD需确保所开发实时模型的统一品质。

传统美术部门的工作通常聚焦于视效开发和前期制作，VAD则聚焦于完善可用于虚拟拍摄的完整资产，省去了传统拍摄的前后期工序。因此VAD相较于传统拍摄流程其参与度更广、工种配合更密集，所处理的影像量比重也更高。

VAD是虚拟制片中最早开始工作的部门之一，不仅负责每项资产的视觉品质，还要负责优化数字内容，使其可以在现场流程中流畅呈现。由于数字内容的开发和使用贯穿整个拍摄过程，所以VAD会参与采景、制片、合成制作全过程。在拍摄期间技师们还要精修场景，使其具备符合所需的审美意蕴。

4.2.2 幕墙选择和数字内容构建提升拍摄效果

LED幕墙替代了绿幕，为演员和创作者提供了更好的沉浸感，使拍摄效果更加准确逼真。LED幕墙本身具有自发光和反射光，可替代传统布景，避免材料浪费。

通过计算机搭建出高清晰度的理想场景、配合灯光及背景，可大幅推进拍摄进度；同时实现了审看样片和现场拍摄之间的同步操作，现场拍摄出现的问题，可随时进行修改和调整。通过虚幻引擎中构建的数字内容，使主创团队所有工种间实时沟通和协调。同时配合虚幻引擎，可以实时生成最终品质的环境、角色、物体、灯光等等，还可以配合现场摄像机追踪，根据实体摄像机的移动，准确显示出相应视角进行实时计算，使现场LED幕墙和自由移动的摄像机完美配合。

在整个XR拍摄过程中要随时调整好LED幕墙的现实水准和摄像延迟这些关键环节，才能输出具有品质保障的影像。

4.2.3 多方式组合尝试解决摩尔纹问题

在XR拍摄过程中，诸如对焦、聚焦、分辨率不足等因素都会导致出现干扰摩尔纹。首先，要尽可能使用高品质光学性能专业摄像设备，同时通过拍摄技巧确保摄像机快门和LED幕墙刷新率的同步，就能降低可见的扫描线和条带，有效地解决摩尔纹问题。

5 结语

基于XR技术的影像创作，集成了虚拟现实技术、实时渲染技术、交互技术、定位追踪技术等多种技术。在制片流程中体现出“后期前置”和“所见即所得”的创作特征，可以实现艺术创作在虚拟与真实融合的场景中开展实时的场面调度。这种拍摄方法在影像创作中的应用也渐成上升之势。从现有作品所呈现出的完成度来看，基于XR技术的影像创作仍处在发展的初级阶段，从前期策划到制作流程、软硬件协同等各方面都有待提升。因此这部基于XR技术，集舞蹈、音乐、舞台表演和影像艺术于一体的实验剧《琵琶行》，在内容创作、表现手法和美学思考上均具有很强的实验意义。

从内容创作角度来看，它让创作者的想象摆脱了物理空间的限制而变得更加自由；从表现手法来看，它使演员沉浸在一个可视听、可感受、可互动的虚拟数字场域当中进行表演，从而获得更好的现场感，提高演员的艺术表现力和感染力，最终使演员的表演和观众的体验紧密相连，使作品变得更加生动和引人入胜。XR实验剧《琵琶行》成片效果如图4所示。

研发团队试图将XR技术的优势充分发挥。例如，在拍摄江面船只时，因演员与虚拟船只存在虚实遮挡关系，为了符合真实视觉效果，采用了AR技术将制作的部分船只模型作为前景遮挡叠加至画面中。在演员舞蹈拍摄的部分，尝试在某些场景中设计增加一些由演员舞蹈姿态触发的虚拟三维物体（如缤纷的花瓣和飘曳的丝绸）的互动效果。同时还尝试设计了适合XR虚拟拍摄流程的场景调度和灯光效果，通过景别的变换和镜头的运动，使作品获得更优的拍摄效果。与此同时，由于技术掌握度、整体融合研创力等方面存在的不足，在创作生产过程中还是遇到了诸多如灯光应用、数字内容匹配等方面的问题，这需要技术人员和艺术创作者不断加强协作，合力研究攻克。

科技和演艺融合创新是大势所趋，新技术的发展也势必会拓展演艺模式的多样化。XR影像创作这类新的编创方式并不是对传统表演形式的替代，而是提供一种新的创作模式、表现方式和艺术体验。我们不妨把其中的“X”理解为一种未来发展的无限可能性，只要通过持续不断地研究和探索，一定会成为我们创造更多奇迹的“魔法棒”。

图文来源 | 《演艺科技》2024年第二期 张晓华 《基于扩展现实技术进行影像创作的应用研究——以XR实验剧<琵琶行>为例》

作者 | 张晓华

编辑 | 周建辉

邮箱 | cetamag@163.com

转载请标注：演艺科技传媒。（除原创作品外，本平台所使用的文章、图片、视频及音乐属于原权利人所有，仅用于行业学习交流，并不用于商业用途。文中观点为作者独立观点，因客观原因，或会存在不当使用的情况，如，部分文章或文章部分引用内容未能及时与原作者取得联系，或作者名称及原始出处标注错误等情况，非恶意侵犯原权利人相关权益，敬请相关权利人谅解并与我们联络第一时间处理，共同维护良好的网络创作环境。）