索尼3D环境感知研究解析，目标是让所有设备“理解世界”-数艺网

资讯: 展览资讯大型展会灯光节大型盛典赛事中标捷报产品快讯热门话题艺术节活动演出新闻数艺报道俱乐部签约

观点: 大咖专访观点洞察书籍推荐吐槽设计观点企业访谈问答趋势创新论文职场方法薪资报价数艺专访

幕后: 幕后故事团队访谈经验分享解密评测数艺访谈

干货: 设计方案策划方案素材资源教程文案资源 PPT下载入门宝典作品合集产品手册电子书项目对接

索尼3D环境感知研究解析，目标是让所有设备“理解世界”: 原创 2022-06-30

Esther | 编辑

年初索尼正式公布PS VR2，与上一代相比，PS VR2的技术大幅升级，不仅采用4K HDR屏幕、支持注视点渲染，还配备了Inside-Out定位摄像头不再需要追踪基站。

尽管该头显还未正式发售，却已经受到游戏、VR等行业的积极关注。截至目前，PS VR2公开的信息并不详细，不过从索尼在官博中陆续分享的技术方案，或许可以看到未来PS VR2可能会配备的功能和体验。

比如此前青亭网就曾报道索尼研发的一款4K Micro OLED VR原型屏幕，而近期索尼再次公布一项与3D环境感知相关的技术，并声称可帮助AR/VR头显进行3D定位。据悉，索尼在2019年曾举办过一场LBS AR游戏活动“捉鬼敢死队：新人训练”，并在活动中采用了一款外形酷炫的AR头显原型，受到广泛关注。而该AR头显实际上就内置了索尼研发的3D环境识别传感器。

实际上，索尼在3D传感领域有多年探索探索和积累，除了AR/VR外，其技术也广泛应用于AIBO、QRIO娱乐机器人、Airpeak S1等场景。在近期发布的博客中，该公司进一步描述了在该领域的进展、技术路径以及发展方向。

3D环境感知重要性

为了帮助所有的设备理解真实世界，将需要采用3D环境感知技术。索尼表示：3D环境感知的原理是根据摄像头捕捉的数据，分析并感知周围的3D环境、测距，然后重建逼真的3D环境模型。这项技术可广泛应用于多个领域，比如娱乐、机器人、视频制作、AR/VR等等。

演示视频：内有AR眼镜、3D扫描等方案

随着市场对于AR/VR的需求越来越高，也开始需要更准确的3D定位、3D结构识别技术。此外，3D环境识别对于无人机、汽车、机器人等技术发展也很关键，比如机器人需要通过环境感知功能来规划路线、躲避障碍物、操控物体。而在无人机设备上，则是通过3D定位、3D环境结构识别，来帮助无人机控制飞行、检测障碍物，不需要GPS也能稳定导航、准确着陆。

索尼的目标，是想要打造具有环境识别能力的“机器眼”。技术路径方面，其3D环境感知方案由多项核心技术组成，利用IMU、摄像头等传感器来识别环境的3D结构，以及相机在3D空间中的位置。

改善3D环境感知技术

索尼表示：我们一直在开发3D环境感知相关的信号处理技术，以应用于SLAM、VPS等基于摄像头的定位系统，以及根据图像进行3D目标重建等等。

据了解，SLAM使用“映射”的方式为周围环境实时生成3D模型，同时在3D模型中定位设备的位置。索尼的视觉SLAM系统在边缘设备上处理数据，因此需要轻量级、低负载、低延迟的算法，与硬件配合运行。

而VPS是一种针对城市环境、室内设施的室内外定位系统，其特点是通过摄像图像来识别位置，而不是像传统地图一样基于GPS数据。

索尼看重3D传感的准确性、吞吐量、稳定性，但由于环境等多种因素，为3D定位、3D重建带来难题，造成模糊、暗处噪声、镜头失真、户外阳光变化难以识别、缺乏纹理等挑战。而移动设备的3D传感器更需要解决这些问题，因为需要实时捕捉和识别周围的3D环境。

通常，利用图像来定位时，通常需要使用映射功能，而如何在不同光线中稳定运行地图映射，则是问题的关键。尤其是如何将日间和夜间环境中捕捉的图像与数据相关联，从而执行建模。为了解决这一问题，索尼采用了深度学习算法，以适应白天和夜晚的光照变化。

精准重建3D空间结构

3D重建需要将多个摄像头捕捉的时间、空间数据进行整合，然后恢复成可识别的3D结构。在捕捉到的图像中，可估计相机的位置和方向，以及与周围环境的距离变化，并整合法线向量、可靠性、纹理等信息，来合成逼真的3D模型。

而如果使用LiDAR等激光测量设备来识别深度信息，还可以预测物理尺度、提升计算速度和准确度。此外，利用多个设备来读取3D环境位置等信息，可用于开发更好的LBS AR体验。

索尼表示：3D重建的目的是，将真实场景数据化，以供人类和机器人分析和使用。利用云计算服务，可以加速处理数万张高清图像，来创建城市规模的3D模型。

另一方面，一些3D建模场景还需要在边缘设备进行一些轻量化处理。索尼表示：我们正在研发实时3D建模技术，目的是允许智能手机、AR/VR头显等算力有限的设备也能进行3D建模，实时识别周围的环境。

移动设备上实时运行

除了提升不同亮度的运行效果、3D重建准确性外，索尼3D环境感知技术的另一大特色是，可以在移动的设备上进行实时SLAM和3D重建，以适用于汽车、无人机等应用场景。

该技术使移动物体不仅可以通过图像识别其周围环境、位置和与各种物体的距离，还可以立即检测和避开突然出现的障碍物，并了解它可以穿越的区域。不过，这项技术需要实现低延迟的实时传感，为此图像识别的轻量化很重要，这样才能适应不同内存和功耗的设备。在应用于汽车和无人机时，还需要对电机和发动机振动以及不断变化的照明和环境进行适配。

软硬件协同开发

目前，市面上有个大量不同的3D环境感知算法，但是算法、传感器和应用程序在同一平台上集成并不容易。因此，索尼致力于3D传感的软硬件协同开发，并通过边缘设备来优化3D环境感知。另外，索尼视觉传感处理器是一个系统，它允许相机和IMU等采样频率差异很大的设备，通过控制时序进行同步，从而确保高效的算法处理。

索尼表示：根据公共基准测试结果显示，我们的3D重建技术的性能在全球范围达到一流水平。目前，正在为其筹备相关的应用开发，比如为虚拟制作、游戏、测距等场景开发3D资产。

除此之外，索尼还看好将3D传感技术应用于：3D打印、3D可视化、3D地图定位、AR/VR、无人机和车辆的障碍物检测等更多领域。

此外，AR/VR应用的发展，推动了基于真实环境的3D数字化，与SLAM和VPS结合后，可以为用户提供更加虚实融合的体验。

而更长期的应用场景，也包括通过3D传感来帮助机器设备了解周围的环境和自己的位置。索尼认为，当未来AI机器人与人类共存时，这项技术将更加重要。

也就是说，3D环境识别技术可以让虚拟和真实世界联系更紧密，让人类、机器人执行任务更方便。

参考：

https://www.sony.com/en/SonyInfo/research/technologies/3D_environment_sensing/

（ END）

每天五分钟，轻松了解前沿科技。
—— 青亭网

阅读原文 * 文章为作者独立观点，不代表数艺网立场转载须知: 本内容由数艺网主动采集收录，信息来源为 “青亭网” 公开网络发布内容。第三方如需转载本内容，必须完整标注原作者信息及 “来源：数艺网”，严禁擅自篡改、删减或未标注来源转载。并附上本页链接：若您的内容不希望被数艺网收录，或认为此举侵犯了您的合法权益，敬请通过微信 ID：d-arts-cn 联系数艺网。我们将致以诚挚歉意，并第一时间为您办理下架或删除处理。

数字媒体艺术新媒体艺术科技艺术索尼3D 公司新闻

14690