- 0
- 0
- 0
分享
- 探索3D高斯溅射在XR、VP应用的无限潜力
-
原创 昨天
今天我们将探讨一项令人兴奋的技术——3D Gaussian Splatting(下文称:3D高斯溅射),以及它在XR、虚拟制作应用中的潜力。无论您是一名电影制片人、VP技术指导还是虚拟现实爱好者,这项技术都将改变你对搭建虚拟环境的认知。
首先别被下面一些类似高斯溅射、辐射场和光栅化的名词吓到,暂时看不懂不是问题,跳过往下看就好,文中有很多视频帮助你理解。
1 - What is 3D高斯溅射
3D高斯溅射是一种用于辐射场实时渲染的光栅化技术,它跟NeRF(神经辐射场)是两种不同的三维场景重建和渲染技术,它们在某些方面有一定的关联,但也有显著的区别。它的主要特点是:
1. 高品质。(和MipNerf360相当)
2. 实时渲染。(超过100fps)
3. 训练时间短。(小于1小时)
下面有个2分钟的介绍视频:
2 - 工作原理
从实现流程看,高斯溅射、NeRFs或摄影测量,都是使用一组2D图像创建3D场景的方法。这意味着你所需要的只是一个场景的视频或一组照片,然后计算出它的3D表示并进行渲染,然后你就可以从任何角度对场景进行取景拍摄。
首先你要有这么一组类似的图片,可以先拍视频然后进行抽帧挑选,拍摄的时候注意不要移动太快,减少模糊,图片数量控制在200-1000张,保持各个图片的曝光一致。

接下来获取相机的位姿,目标是获得每一张图片的相机的位置和方向。有几种方法可以做到这一点。
- COLMAP。COLMAP是一个免费和开源的SfM (Structure from Motion)软件。它将以图像作为输入,并输出相机姿态。它带有GUI,可以在Windows、Mac和Linux上使用。
- 桌面软件。包括RealityCapture、metasshape(商业软件)。手机APP。包括Polycam、Record3D,利用iphone上的激光雷达传感器来获取相机姿态。

接下来就是训练高斯溅射模型,完成后就可以进行可视化,参考下面的视频,3D高斯溅射极好地捕捉了毛绒玩具的模糊和柔软性质,这是基于摄影测量的方法难以做到的。
3 - 应用场景
对于辐射场方法来说,实现高视觉质量需要训练和渲染成本高昂的神经网络,更快的方法不可避免地会选择用牺牲速度来换取质量。通过3D高斯溅射可以实现对于无边界且完整的场景(而不是孤立的物体)和1080p分辨率渲染,之前是没有方法可以达到实时显示速率的。
下面这段儿效果是用DJI Mavic 3的Helix螺旋上升模式拍摄289张图片后,采用3D高斯溅射训练出来的结果(训练迭代30,000次,用时48分钟),可以听一下视频里的Awesome的出现频率。
说到实时渲染就要说到虚幻引擎了,Akiya_Souken_VR近期推出的3D Gaussians虚幻引擎插件已经更新到了 v1.2,支持虚幻版本5.1到5.3,该插件可以导入和渲染3D高斯溅射训练的结果到虚幻引擎,打通了虚拟制作应用的终端显示。
还有人用3D高斯溅射做了一个图片转场效果,还挺酷~!
6 - Hao问题
3D高斯溅射相关的论文获得了SIGGRAPH 2023的最佳论文,它在保持同类技术实现高品质的同时,极大地缩短了训练时间(48小时 VS 0.63小时),提升了实时渲染帧率(0.07fps VS 137fps),直接降低了使用门槛,可以支持更多的人去尝试和试验。同时它跟NeRF类似的实现路径,也会给从图片创建虚拟环境带来更多的关注,加速相关流程中各个环节的技术迭代。
我们一起继续关注相关的技术发展。
如果有人问你3D高斯溅射跟NeRF的关系,或许你可以参考一下下面这张图。

参考资料:
[1] https://huggingface.co/blog/gaussian-splatting, Introduction to 3D Gaussian Splatting
[2] https://arxiv.org/abs/2308.04079, 3D Gaussian Splatting for Real-Time Radiance Field Rendering
[3] https://www.reshot.ai/3d-gaussian-splatting
[4] https://danielpikl.medium.com/what-is-the-difference-between-nerf-and-gaussian-splatting-technology-d6d9848faf80
[5] https://www.bilibili.com/video/BV1uP41187JX
[6] https://akiya-research-institute.github.io/3dGaussiansPlugin-Manual
[7] https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号大卫Hao ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。