计算机视觉与图形学-神经渲染专题-NeRF-SR

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

NeRF是最先进的新视图合成方法，可以以训练图像的分辨率合成照片级真实感输出，但如（a）所示，在更高的分辨率下难以实现，而NeRF SR即使使用低分辨率输入也可以生成高质量的新视图（b）。

摘要

我们提出了NeRF-SR，这是一种用于高分辨率（HR）新视图合成的解决方案，主要用于低分辨率（LR）输入。我们的方法建立在神经辐射场（NeRF）的基础上，该神经辐射场使用多层感知器预测每点密度和颜色。对比处理任意尺度图像，NeRF很难生成超过给定输入图像分辨率的视图。我们认为NeRF得益于3D一致性，这意味着观察到的像素从附近的视图中获得。我们首先通过一种超采样策略来利用它，该策略在每个图像像素处发射多条光线，这进一步在亚像素级别上实施多视图约束。然后，我们表明，NeRF-SR可以通过一个优化网络进一步提高超采样的性能，该网络利用现有的估计深度，仅在一个HR参考图像上产生相关补丁的细节。实验结果表明，无需任何外部信息，NeRF SR在合成数据集和真实数据集上生成高质量的新视图合成结果。

网络框架

NeRF-SR系统框架主要包括两个部分。（a）我们采用超采样策略，仅从低分辨率输入生成超分辨率新视图。（b）给定任意视点的高分辨率参考，我们利用已有的深度图提取相关面片，NeRF-SR生成合成图像的更多细节。

实验结果

对比双三次、NeRF、我们的SS和我们的Refine算法性能。NeRF SR在叶子和花的叶子以及角的耳朵和鼻子上的裂缝中呈现正确和清晰的纹理，可以使用细化网络进一步增强。

结论

NeRF-SR的一个主要限制是它不具有良好的任意尺度特性。它还引入了额外的计算效率，需要训练较长的时间。

总之，我们提出了NeRF-SR，主要使用低分辨率输入，并在没有任何外部数据的情况下实现真实感渲染。具体而言，我们从两个角度利用NeRF中的3D一致性：超采样策略，通过子像素中的多视图找到对应点；深度引导细化，使HR参考图像上的相关的细节。最后，区域超采样和广义NeRF超分辨率可能会在未来的工作中进行探索。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016

计算机视觉与图形学-神经渲染专题-NeRF-SR相关推荐

计算机视觉与图形学-神经渲染专题-神经体渲染：NeRF与Beyond-I
(说明:如果您认为下面的文章对您有帮助,请您花费一秒时间点击一下最底部的广告以此来激励本人创作,谢谢!!!) 1.简介神经渲染的定义:"深度图像或视频生成方法可以显式或隐式控制场景属性,例 ...
计算机视觉与图形学-神经渲染专题-StructNeRF室内重建
(说明:如果您认为下面的文章对您有帮助,请您花费一秒时间点击一下最底部的广告以此来激励本人创作,谢谢!!!) 神经辐射场(NeRF)通过密集捕获的输入图像实现照片真实感视图合成.然而,给定稀疏视图,N ...
计算机视觉与图形学-神经渲染专题-
<Removing Objects From Neural Radiance Fields> 链接:https://arxiv.org/pdf/2212.11966.pdf 摘要神经辐射 ...
【理解】神经立体渲染，NeRF
https://www.zhihu.com/question/528913695/answer/2568694310 2020年是神经立体渲染(neural volume rendering)爆发的一 ...
【调研】虚拟人深度神经渲染（neural rendering）
点击上方"AI搞事情"关注我们据天眼查数据显示,我国现有"虚拟人"."数字人"的相关企业28.8万余家.2016-2020年,5年新增注册 ...
2022神经渲染的进展综述
神经渲染的进展综述来源:https://zhuanlan.zhihu.com/p/567654308 EuroGraphics'2022 综述论文"Advances in Neural R ...
【开源】本周不容错过开源论文，含分割、检索、神经渲染、deepfake 检测、超分、视频相关等...
本篇文章推荐本周值得关注的 10 篇开源论文,含 deepfake 检测.视频分类.图像分割.遥感图像检索.车辆检索.神经渲染.超分辨率等. 01 FReTAL: Genera ...
淘系技术发布业界首个基于神经渲染的3D建模产品Object Drawer，推理速度均提升10000倍...
在China VR 2021大会上,阿里巴巴淘系技术发布了业界首个基于神经渲染的自研商品三维建模产品Object Drawer.目前,Object Drawer已经提供给部分天猫.淘宝商家使用,将在1 ...
【卷积神经网络结构专题】一文详解AlexNet(附代码实现)
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]本文是卷积神经网络结构系列专题第二篇文章,前面我们已经介绍了第一个真正意义 ...

计算机视觉与图形学-神经渲染专题-NeRF-SR

计算机视觉与图形学-神经渲染专题-NeRF-SR相关推荐

最新文章

热门文章