资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

探索3D高斯溅射在XR、VP应用的无限潜力

原创 昨天

今天我们将探讨一项令人兴奋的技术——3D Gaussian Splatting(下文称:3D高斯溅射),以及它在XR、虚拟制作应用中的潜力。无论您是一名电影制片人、VP技术指导还是虚拟现实爱好者,这项技术都将改变你对搭建虚拟环境的认知。

首先别被下面一些类似高斯溅射、辐射场和光栅化的名词吓到,暂时看不懂不是问题,跳过往下看就好,文中有很多视频帮助你理解。

1 - What is 3D高斯溅射

3D高斯溅射是一种用于辐射场实时渲染的光栅化技术,它跟NeRF(神经辐射场)是两种不同的三维场景重建和渲染技术,它们在某些方面有一定的关联,但也有显著的区别。它的主要特点是:

1. 高品质。(和MipNerf360相当)

2. 实时渲染。(超过100fps)

3. 训练时间短。(小于1小时)

下面有个2分钟的介绍视频:

来自:意の茗,B站


2 - 工作原理

从实现流程看,高斯溅射、NeRFs或摄影测量,都是使用一组2D图像创建3D场景的方法。这意味着你所需要的只是一个场景的视频或一组照片,然后计算出它的3D表示并进行渲染,然后你就可以从任何角度对场景进行取景拍摄。

首先你要有这么一组类似的图片,可以先拍视频然后进行抽帧挑选,拍摄的时候注意不要移动太快,减少模糊,图片数量控制在200-1000张,保持各个图片的曝光一致。

接下来获取相机的位姿,目标是获得每一张图片的相机的位置和方向。有几种方法可以做到这一点。

    • COLMAP。COLMAP是一个免费和开源的SfM (Structure from Motion)软件。它将以图像作为输入,并输出相机姿态。它带有GUI,可以在Windows、Mac和Linux上使用。
    • 桌面软件。包括RealityCapture、metasshape(商业软件)。手机APP。包括Polycam、Record3D,利用iphone上的激光雷达传感器来获取相机姿态。

接下来就是训练高斯溅射模型,完成后就可以进行可视化,参考下面的视频,3D高斯溅射极好地捕捉了毛绒玩具的模糊和柔软性质,这是基于摄影测量的方法难以做到的。


3 - 应用场景

对于辐射场方法来说,实现高视觉质量需要训练和渲染成本高昂的神经网络,更快的方法不可避免地会选择用牺牲速度来换取质量。通过3D高斯溅射可以实现对于无边界且完整的场景(而不是孤立的物体)和1080p分辨率渲染,之前是没有方法可以达到实时显示速率的

下面这段儿效果是用DJI Mavic 3的Helix螺旋上升模式拍摄289张图片后,采用3D高斯溅射训练出来的结果(训练迭代30,000次用时48分钟),可以听一下视频里的Awesome的出现频率。

说到实时渲染就要说到虚幻引擎了,Akiya_Souken_VR近期推出的3D Gaussians虚幻引擎插件已经更新到了 v1.2,支持虚幻版本5.1到5.3,该插件可以导入和渲染3D高斯溅射训练的结果到虚幻引擎,打通了虚拟制作应用的终端显示。


还有人用3D高斯溅射做了一个图片转场效果,还挺酷~!


6 - Hao问题


3D高斯溅射相关的论文获得了SIGGRAPH 2023的最佳论文,它在保持同类技术实现高品质的同时,极大地缩短了训练时间(48小时 VS 0.63小时),提升了实时渲染帧率(0.07fps VS 137fps),直接降低了使用门槛,可以支持更多的人去尝试和试验。同时它跟NeRF类似的实现路径,也会给从图片创建虚拟环境带来更多的关注,加速相关流程中各个环节的技术迭代。

我们一起继续关注相关的技术发展。

如果有人问你3D高斯溅射跟NeRF的关系,或许你可以参考一下下面这张图。

来自:意の茗,B站

参考资料:

[1] https://huggingface.co/blog/gaussian-splatting, Introduction to 3D Gaussian Splatting

[2] https://arxiv.org/abs/2308.04079, 3D Gaussian Splatting for Real-Time Radiance Field Rendering

[3] https://www.reshot.ai/3d-gaussian-splatting

[4] https://danielpikl.medium.com/what-is-the-difference-between-nerf-and-gaussian-splatting-technology-d6d9848faf80

[5] https://www.bilibili.com/video/BV1uP41187JX

[6] https://akiya-research-institute.github.io/3dGaussiansPlugin-Manual

[7] https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号大卫Hao ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

3D 高斯溅射技术 XR 虚拟制作(VP)

7574 举报
  0
登录| 注册 后参与评论