资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角|CVPR 2022

原创 2022-08-24




  新智元报道  

编辑:好困 Aeneas
【新智元导读】谷歌一年前的论文突然火了!这个名叫RawNeRF的技术,不仅完美降噪,还能改变视角,调整焦点和曝光等等。难道,我们距离超强的夜景拍照相机不远了?

最近,网上一段来自谷歌的AI夜景拍摄视频被刷爆了!



视频中的这个技术叫RawNeRF,顾名思义就是NeRF的一个全新变体。

NeRF是一种全连接神经网络,使用2D图像的信息作为训练数据,还原出3D场景。

RawNeRF比起之前的NeRF,有了多处改进。不仅能完美降噪,还能改变相机视角,调整焦点、曝光和色调映射。

谷歌的这篇论文于2021年11月发表,并被CVPR 2022收录。

项目地址:https://bmild.github.io/rawnerf/

黑夜中的RawNeRF


在此之前,NeRF是使用色调映射的低动态范围LDR图像作为输入。

而谷歌的RawNeRF改为直接在线性原始图像上进行训练,可以保留场景的完整动态范围。

在合成视图领域,处理黑暗的照片一直是一个难题。

因为在这种情况下,图像中的细节极少。而且这些图像让我们很难把新视图拼接到一起。


还好,我们有一个新的方案——使用原始传感器(RAW sensor data)的数据。

就是像这样的一张图,这样,我们就有了更多的细节。

不过,仍然存在一个问题:噪点也多了。


所以我们必须做个选择:是更少的细节和更少的噪点,还是选择更多的细节和更多的噪点。

好消息是:我们可以使用图像降噪技术。


可以看到,降噪之后的图像效果不错,但要合成视图,这种质量还是不够。

不过图像降噪技术给我们提供了一个思路:既然可以给单个图像去噪,那也可以给一组图像去噪。

让我们来看看RawNeRF的效果。


而且,它还有更多令人惊喜的功能:对基础数据进行色调映射,从深色图像中提取更多细节。


比如改变图像的焦点,营造出很棒的景深效果。


更厉害的是,这个还是实时的。


此外,图像的曝光也会随着焦点的变化而产生相应的变化!


接下来,就让我们看看RawNeRF的五个经典的应用场景吧。

五大经典场景


1. 图像清晰度

看这张图像,你能看到路牌上的信息吗?


可以看到,经过RawNeRF处理后,路牌上的信息就清晰多了。

在下面这个动图里,我们可以清晰地看到原始的NeRF技术和RawNeRF在图像合成上的区别。

‍

其实,所谓的NeRF也并不是多古老的技术,时间才刚刚过了2年而已……

看得出来,RawNeRF在高光的处理上,表现得还是非常出色的,我们甚至能看到右下角车牌周围的高光变化。

2. 镜面高光

镜面高光属于非常难捕捉的对象,因为在移动相机时,它们会发生很大的变化,而且照片之间的相对距离也比较远。这些因素对于学习算法来说,都是巨大的挑战。

在下面这张图中可以看到,RawNeRF所生成的镜面高光可以说是相当还原了。


3. 薄的结构

即使在光线充足的情景中,以前的技术对于栅栏的显示效果也并不好。


而RawNeRF即使处理有一堆栅栏的夜间照片,也妥妥hold得住。

即使在栅栏与车牌重合的地方,效果依然很好。


4. 镜面反光

路面上的反光,是一种更有挑战性的镜面高光。可以看到,RawNeRF也处理得非常自然,非常真实。


5. 改变焦点,调整曝光

在这个场景中,让我们试试改变视角,不断变换焦点,同时调整曝光。


在以前,要完成这些工作,我们需要从25到200张照片的集合。

而现在,我们只需要几秒钟,就可以完成拍摄了。

当然,RawNeRF现在并不完美,我们可以看到,左边的RawNeRF图像和右边的真实照片,还是有一些差异。


不过,从一组充满噪点的原始图像达到现在这样的效果,RAWnerf已经取得相当大的进步了。要知道,两年前的技术还完全做不到这样。

RAW的好处


简单回顾一下,NeRF训练管线所接收的是经过相机处理的LDR图像,之后的场景重建和视图渲染,基于的都是LDR色彩空间。因此,NeRF的输出实际上已经是经过了后期处理的,想要大幅修改和编辑是不可能了。

相比而言,RawNeRF是直接在线性原始HDR输入数据上训练的。由此产生的渲染结果可以像任何原始照片一样进行编辑,如改变焦点和曝光等等。


由此带来的好处主要有两点:HDR视图合成和降噪处理。

在亮度变化极大的场景中,固定的快门速度不足以捕捉到全部动态范围。RawNeRF模型则可以同时对短曝光和长曝光进行优化处理,从而恢复完整的动态范围。

例如(b)中的这种大光比场景,就需要更复杂的局部色调映射算法(例如HDR+后期处理),才能同时保留暗部的细节和室外的高光。

此外,RawNeRF还可以使用线性颜色渲染具有正确饱和的「虚化」亮点的合成失焦效果。


在图像噪点的处理上,作者进一步地将RawNeRF在完全未经处理的HDR线性原始图像上进行了训练,使其变成了一个能处理几十甚至几百张输入图像的「降噪器」。

这种鲁棒性也就意味着,RawNeRF可以出色地完成在黑暗中重建场景的任务。

例如在(a)这个只有一根蜡烛照明的夜景中,RawNeRF可以从嘈杂的原始数据中提取出本来会被后期处理破坏的细节(b,c)。


作者介绍


论文的第一作者Ben Mildenhall是谷歌研究院的一名研究科学家,从事计算机视觉和图形方面的问题。


他在2015年于斯坦福大学取得计算机科学和数学学士学位,并在2020年于加州大学伯克利分校取得计算机科学博士学位。


刚刚结束的CVPR 2022,可以说是Ben的高光时刻了。

7篇录用论文中有5篇拿下Oral,并且还有一篇获得了最佳学生论文的荣誉提名。


网友评论


视频一出,立马惊艳了众网友。大家一起脑洞大开。







看这技术进步的速度,要不了多久,夜间拍照再也不用愁了~


阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本内容由数艺网主动采集收录,信息来源为 “新智元” 公开网络发布内容。第三方如需转载本内容,必须完整标注原作者信息及 “来源:数艺网”,严禁擅自篡改、删减或未标注来源转载。 并附上本页链接: 若您的内容不希望被数艺网收录,或认为此举侵犯了您的合法权益,敬请通过微信 ID:d-arts-cn 联系数艺网。我们将致以诚挚歉意,并第一时间为您办理下架或删除处理。

数字媒体艺术 科技艺术 图像效果 展示 谷歌技术

14092 举报
  0
登录| 注册 后参与评论