Esther｜编辑

每年FC大会期间，前Oculus CTO John Carmack都会发表演讲，演讲结束后还会与众多开发者见面，进行一场你问我答的Q&A活动。今年FC大会转战线上，因此Q&A活动也转移到《Horizon》中进行。不过往年的线下Q&A相比，VR能容纳的人数有限，因此只有16人能在Horizon中（结合2D视频最多支持50人）参加这个活动。

除了Horizon中的现场观众外，主持人也会挑选非VR观众的问题来进行解答。据悉，现场观众是分别来自于Oculus Start、Launchpad和Horizon加速器项目的开发者，他们提出的问题涉及了AI、手势交互、姿态追踪、变焦显示、WebXR等多个方面。感兴趣就跟随青亭网一起了解一下吧。

主持人：今天，我们将一年一度的开发者Q&A活动搬到了《Horizon》VR社交平台。那么你觉得VR社交平台对于VR、元宇宙和公众聚会的未来有什么意义？

Carmack：首先最重要的，VR可以让社交场景摆脱地理位置限制。与线下聚会不同，全球的观众都可以通过网络参与这场Q&A，这不仅节省时间和金钱，也可以让更多人参与到这场活动中。

尽管目前Horizon能同时承载的人数有限，但我很期待未来可以在这里举办更大规模的见面会，与更多人互动。

开发者1：你好，我叫Siciliana Trevino，我是免费VR社交应用《Alcove》的制作人。此外，今年我和团队也参与了Oculus Launchpad项目。想用Voice AI来优化叙事流程。我的问题是，你觉得在优化AI驱动的VR内容时，开发者应该注意什么？

Carmack：与十年前相比，现在的AI技术可以实现更多神奇的功能。尽管如此，训练AI还是比开发传统软件难得多，就像是训练小动物一样费时费力。因此，建议开发者缩小AI训练的范围，在有限的范围内尽可能优化AI的效果。

实际上，如果使用规模足够大的数据集来训练AI，你可以实现无线可能性。但通常初创公司没有那么多训练数据，所以需要利用其他人已经研发的成果，并在此基础上寻找新的用途。

而对于Voice AI，我认为训练多应用场景的通用语音助手可能会遇到很多挑战，如果应用场景比较垂直，比如像《Alcove》这样专注于家庭社交，AI也许可以用来辅助老年人使用VR等等。

对于训练AI的开发者，我的建议是至少邀请100人参与Beta测试，这些人将代表不同类型的用户，根据他们的反馈来优化AI，将有望更加适应多样化的应用场景。

开发者2：我是《Horizon World》的创作者，正在参与Horizon创作者加速项目。我想问的问题是，在未来EMG等新技术将如何优化VR，来降低视觉、听觉、语言和肢体受限的用户使用VR的门槛？未来Meta是否会推出相关的无障碍辅助软件？

Carmack：未来Meta会通过SDK等方式，向开发者开放更多新技术、新功能。尽管如此，我不建议初创公司过于关注未来的技术，因为投资未来的技术可能不太明智。尽管创新的应用场景可能会吸引眼球，但通常来讲，新技术的用户不会很多。

就拿VR来讲，我们经历了那么多年才发展到数百万的用户规模。而就像是许多新技术那样，VR在这些年里也曾一度经历低谷。

我认为，现有的VR技术已经有足够多的应用场景和发展方向，在无障碍功能上也需要得到优化。比如：很多VR应用中的文字很难辨认，即使是视力好的人也看不清。因此开发者可以将字号调大点，多去考虑VR屏幕的尺寸和比例。

声音的设计也是如此，开发者可以简化背景音乐，尤其是在重要的场景可以将背景音调小。

另外一点，无障碍功能实际上也可以优化每一个用户的体验。比如，Meta内部曾考虑简化边界设定的过程，因为对于坐轮椅的人来讲，用VR手柄触碰来设定地面高度很困难，于是便推出了用摇杆来设定地面高度的替代方式。

除此之外，还可以从色盲、对比度、语音交流等方面进行优化。

总之，建议不只是为少数障碍人士提供优化，而是为更多人提供优质的体验，或是让边缘的用户体验感更好。

你开发的应用场景是什么，有什么功能？

开发者3：我们开发的应用可以为多样化的人群举办活动，其中可能包括一些不能说话的用户，现有的手势识别技术还不能呈现手语，因此我想知道未来将如何解决这一问题？

Carmack：我认为这个问题可以通过系统软件来解决，不过考虑到研发成本，优化的手势识别也许只能解决部分用户的问题，未来在其他应用场景普及可能会具有挑战性。

总之就是尽可能专注于现有的技术，未来的技术可能会存在多种可能性。

开发者4：未来Meta会推出低成本全身姿态追踪方案吗？

Carmack：我认为，基于Quest现有的摄像头方案，再加上算法优化，未来依然有可能通过有限的数据去推测用户的全身姿态。现有的数据实际上可以看到部分手臂、躯干，如果Quest用户低头，还可以追踪到脚。

实际上，在现有技术上不断优化，我们依然能发现更多价值。而我也几乎可以肯定，未来Meta会推出与全身姿态追踪相关的功能或技术，不过可能不会推出基于额外传感器的方案。

开发者5：我叫Dylan Hunter，我是Oculus Start项目的一名开发者。我所在的团队正在开发一款支持手势交互的多人象棋游戏《Chess Cafe》，这款游戏一开始就将支持手势交互，而不是在推出后再加入手势功能。

在开发这款游戏的过程中，我们发现现有的Quest手势识别技术依然存在局限，比如可追踪范围有限，还有无法识别双手遮挡或五指遮挡。因此我想了解一下，您认为未来两年内手势识别技术将如何发展？随着Project Cambria、EMG腕带等新技术出现，手势追踪存在的局限是否将得到解决？作为开发者来讲，我们如何优化手势的应用场景，并用手势来代替手柄输入呢？

Carmack：对于Quest手势识别功能的优化进度，我个人相当满意。因为在Quest原生支持手势识别之前，在VR中实现手势识别通常以来投影模组、SoC等定制硬件，而现在通过VR头显内置的摄像头就能识别手势，而且手势识别的采样率也翻了一倍，效果也在不断提升，整体方案依然在不断优化，未来还有很多上升空间。

软件层面上，接下来可以通过小臂数据来推测手势，以提升手势识别准确性。而对于完全被遮挡的手势，也许可以通过硬件方案来优化，比如配备红外传感器、结构光传感器，或是通过用分辨率更高、更保真的摄像头来追踪皮肤，进而预测更准确的手势等等。

至于下一代VR头显，我想它应该不配备专门的手势传感器，但整个传感器套件将得到升级，这同时也意味着需要重新训练算法，且依赖于更多算力。

总体来讲，你可以期待手势识别在现有的Oculus硬件上继续优化，而下一代VR头显的追踪效果也会比Quest 2更好，尽管如此，开发者依然需要针对手势交互的特性来优化游戏体验和内容。就拿VR棋盘游戏来讲，你可能需要将棋盘线上倾斜、设计更大的棋盘，以此来降低用手下棋的难度。或是想办法为玩家提供视觉、声音、体感等多重提示或反馈，模拟真实下棋的感觉。

作为VR开发者，你可以将手势交互想象成某种不完美的手柄，如果足够了解它的特点和局限，你便可以在此基础上进一步优化体验。就像是科研人员利用火箭摆脱地心引力的限制那样。与此同时，Quest手势识别技术也在不断提升。

开发者6：可以谈谈变焦显示模组对于未来VR的重要性吗？

Carmack：理想的变焦显示系统的确能提升VR头显的体验感，但它有两大难题需要解决，即成本和准确性。成本方面，需要考虑硬件成本、体积和重量成本、散热成本、计算成本等等。而准确性方面则是指，IPD调节范围、眼球追踪算法等方面都可能影响变焦显示的准确性。

举个例子，如果追踪注视点、焦距的算法不准确或延迟高，那么实际的变焦体验可能会比非变焦屏幕更模糊。Meta目前还无法保证稳定、优质的变焦效果，即使是在实验室证明有效的原型，在更广泛的人群中测试时，依然会发现更多问题，因为使用者的眼睛轮廓、眼睑形状等方面各不相同，有的人还戴眼镜等等。

接下来，通过配备眼球追踪和面部追踪的下一代VR头显，我们也许能从更多样化的人群中得到反馈。不过与此同时，Meta可能无法直接收集大量数据，这会涉及到隐私安全等问题。

开发者7：你好，我叫Paige Dansinger，我是Better World Museum、Horizon Art Museum、Women in Horizon的创始人。目前，我正在开发一款关于赋予女性经济权益的游戏，这款游戏中会有许多包含可交易资产的虚拟商店，人们可以通过Horizon、Facebook或Instagram来购买和交易这些资产。对此您怎么看，未来虚拟资产是否能转让，并且与创作工具结合。比如，在Horizon自拍功能中使用Spark AR滤镜？

Carmack：扎克伯格曾明确指出，未来Metaverse平台将支持商业化模式，而且会布局在多样化的平台。不过这可能是一个长期目标。

另外我认为，Spark AR未来有可能与VR融合。几年前，我曾在内部尝试运行其他平台的程序，并重新映射到VR中。因此，在VR中放置虚拟摄像头，然后将摄像头数据输入Spark AR，然后再将渲染的AR效果输入回VR，这技术层面来看是可行的。不过，这也可能增加在VR中渲染的任务量，然个原本可以同时支持15人的虚拟会议只能渲染3个人的形象。为了解决这个问题，未来可能会用到云端渲染技术。

对于开发元宇宙平台，我认为这涉及权衡和优化问题，因为相比于酷炫的体验，我们应该更关注它能给用户带来的价值。另一方面，尽管Metaverse还需要长时间发展，但目前可以看到未来的发展方向，我们可能不需要重新开发完全不同的技术，而是在现有技术上继续优化，拓展更多用户、更多内容、商业模式，就有可能获得成功。

开发者8：我叫Liza，我是Oculus Start项目的成员。我开发的游戏叫做《Cookie Gardening》，游戏中魔法花园中种植的蔬菜都是活的，你可以跟它们交朋友。我的问题是，除了一些独立VR游戏的人气超越大制作VR游戏外，你还从用户数据中发现哪些意外的趋势？

Carmack：我一直在鼓励Meta内部多去从数据中发现用户趋势，不过我们对这些数据的利用还是不够。尤其是一些大制作VR游戏的团队，应该有一半成员将精力放在数据图分析上。实际上，有多年游戏开发经验的人通常依赖的本能或直觉，但是数据总是比直觉更有信服力。

拿App Lab游戏《Gorilla Tag》来讲，它是由一个人开发而成的独立小游戏，但它的人气却非常高，超出许多人的预期。这款游戏在质量、反馈等方面的效果不算好，它吸引人的地方在于简单的玩法和独特的移动方式引起了玩家广泛认可，而这一点是其他人都没有想到的。

值得注意的是，随着技术发展VR的很多趋势变得足够清晰，可以预见。比如从《Beat Saber》中，你可以发现6DoF游戏的明显优势。或是《Population：One》中适合VR交互的攀爬功能，而《Pistol Whip》则是通过线性移动，来绕VR可能造成的眩晕问题，而且音乐与动作同步的玩法体验感也足够好。

当然，VR健身应用的成功有点出乎意料，Meta甚至还出了专用于VR健身的配件，来解决大量出汗的问题。

开发者9：你如何看待WebXR的未来？它对于Meta，乃至整个XR生态的意义？

Carmack：相比于App Lab，WebXR平台更加开放，你甚至不需要经过审核就能发布。不过，目前WebXR面临的问题是，更适合在PC VR中运行，对性能的要求比较高，在Quest一体机上运行不够好。而且WebXR通常在PC端开发，目前很难在Quest一体机上直接创作。

另外，相比于VR app开发者，WebXR开发者通常更注重宏观的愿景，而不太注重内容质量或用户体验等细节。因此WebXR目前最重要的问题不是创意，而是要先关注优化。而对于Meta来讲，未来我们也可以从系统软件来优化WebXR，降低使用门槛、提升运行速度等等。

开发者10：请问对于2D平台游戏的开发者开发VR游戏，您有哪些建议？开发VR游戏和为2D平台开发游戏有哪些需要注意的区别？

Carmack：从关卡设计上，我认为没有根本的区别。你需要注意的可能是运行效果，尤其是掉帧是一个严重的问题。考虑到VR一体机的性能有限，还需要运行立体的高分辨率、高刷新率内容，你不能假设高端的手游在VR一体机中直接运行，不能再使用相同的库存着色器，需要渲染的纹理也更多。

为了简化VR游戏开发，你可以考虑减少游戏关卡，或是创造关卡的镜像版，营造全新关卡的感觉。

开发者11：我叫Luara Bucharey，我的问题是：去年你曾经提到过用震动模拟来避免晕动症，这个研究方向有什么进展吗？

Carmack：据我所知，没有第三方开发者研究相关方向。不过我认为，戴在头上的体感模组还可以与手势交互结合，弥补手柄体感反馈的缺失。另一方面，也可以通过视觉扫描等方式，来识别VR使用者对场景中特定画面产生的不舒适感。

开发者12：除了现有的VR游戏，你还看好哪些VR游戏类型？

Carmack：我认为，将经典的复古游戏移植到VR中会很有趣，即使游戏玩法不变，你可以将游戏内容设计为3D立体模型，效果类似于在VR中体验动态的3D微缩模型。比如，可以移植《吃豆人》、《Space Invaders》移植到VR中。我曾经建议Meta，开发一款这样的游戏模拟器，可以将2D游戏转化成3D版。

未来，也许可以在Horizon平台上开发这样的街机游戏玩法，玩家只需要投币就可以玩。

开发者13：由于长时间线上办公，很多人开始对Zoom产生厌倦。请问VR中是否出现一些趣事，可以帮助缓解对视频会议的厌倦吗？尤其是疫情为VR带来了哪些趋势？

Carmack：Zoom是目前全球使用率最高的会议软件，相比之下VR还需要有很长一段距离。尽管如此，VR办公依然展现出其优势，比如在VR中环顾四周、与其他人交流等动作，比在Zoom中更容易。而且VR会议更具互动性，沟通质量更好。

但VR办公面临的问题是，参与者都需要用VR头显。为了解决这一问题，目前Horizon Wookroom已经开始支持跨平台会议，非VR用户可以通过视频的形式出现在VR场景中。

总之，尽管VR办公还需要长时间发展，但它的发展路径在预期当中。接下来，通过继续优化和打磨VR办公应用，提升开放性、降低使用门槛，我相信这项技术将有机会出现真正的突破，甚至打开更多市场。

（ END）

 

每天五分钟，轻松了解前沿科技。    
         —— 青亭网