计算机视觉与图形学-神经渲染专题-神经体渲染：实时渲染KiloNeRF

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

1、摘要

NeRF通过将神经辐射场拟合到RGB图像，以前所未有的质量合成场景的新视图。然而，NeRF需要查询深层多层感知器（MLP）数百万次，导致渲染时间缓慢，即使在最新的GPU上也是如此。在本文中，作者证明利用数千个微小的MLP而不是一个大的MLP进行实时渲染是可能的。在作者的设置中，每个单独的MLP只需要表示场景的一部分，因此可以使用更小和更快的MLP来评估。通过将这种分而治之的策略与进一步优化相结合，与原始NeRF模型相比，渲染速度提高了三个数量级，而不会产生高存储成本。此外，通过使用teacher-student蒸馏进行训练。作者证明，这种加速可以在不牺牲视觉质量的情况下实现。

官方链接：https://github.com/creiser/kilonerf

2、系统框架

KiloNeRF，作者不是用单个高容量MLP表示整个场景，而是用数千个小MLP表示场景。这使作者能够以2548x以上的速度渲染场景，且不会降低视觉质量。

模型架构，KiloNeRF的MLP架构是NeRF架构的缩小版。KiloNeRF的网络只需要原始体系结构的浮点运算的1/87。

3、结论

在本文中，作者证明通过将场景空间分解为规则网格并为每个网格单元分配一个小容量网络，可以实现NERF的实时渲染。连同从NeRF继承的其他优势——出色的渲染质量和低存储影响。此外，所提出的加速策略还可以更广泛地应用于依赖于神经函数表示的其他方法，包括隐式曲面模型。

更多内容请关注公众号：元宇宙MetaAI

欢迎朋友们投稿，投稿可添加微信：NewYear-2016

计算机视觉与图形学-神经渲染专题-神经体渲染：实时渲染KiloNeRF相关推荐

计算机视觉与图形学-神经渲染专题-神经体渲染：NeRF与Beyond-I
(说明:如果您认为下面的文章对您有帮助,请您花费一秒时间点击一下最底部的广告以此来激励本人创作,谢谢!!!) 1.简介神经渲染的定义:"深度图像或视频生成方法可以显式或隐式控制场景属性,例 ...
计算机视觉与图形学-神经渲染专题-NeRF-SR
(说明:如果您认为下面的文章对您有帮助,请您花费一秒时间点击一下最底部的广告以此来激励本人创作,谢谢!!!) NeRF是最先进的新视图合成方法,可以以训练图像的分辨率合成照片级真实感输出,但如(a)所 ...
计算机视觉与图形学-神经渲染专题-
<Removing Objects From Neural Radiance Fields> 链接:https://arxiv.org/pdf/2212.11966.pdf 摘要神经辐射 ...
计算机视觉与图形学-神经渲染专题-StructNeRF室内重建
(说明:如果您认为下面的文章对您有帮助,请您花费一秒时间点击一下最底部的广告以此来激励本人创作,谢谢!!!) 神经辐射场(NeRF)通过密集捕获的输入图像实现照片真实感视图合成.然而,给定稀疏视图,N ...
Facebook 神经上采样技术，用于实时渲染
超分辨率不仅用于图像和视频,现在也用在虚拟现实和大型游戏的渲染画面上采样,使得图形渲染引擎只需要渲染低分辨率图像,用户仍能观看到高分辨率画面,以降低其计算压力. Facebook AI 发明的神经超采 ...
地图数据快速渲染------基于分布式系统的准实时渲染技术（前段+后端）
前面已经介绍了通过基于分布式的,纯后端的并行生产技术. 刚才看了一个厂商讲述的规划方面快速制图的功能,下面我也描述下如何实现多用户的快速自定义制图. 场景一,有限数据快速更新:当用户在使用制图的时候进 ...
为什么Unreal 4引擎能轻易实时渲染出vray要花半天才能渲染出的场景
为什么Unreal 4引擎能轻易实时渲染出vray要花半天才能渲染出的场景? 这不是真的!This is Unreal! 看了这个文章,大为感慨.如果有人以unreal 4为基础开发渲染软件,和rhi ...
高糊视频秒变4K！Facebook发布低分辨率视频实时渲染算法，网友：是好东西，但是玩不起...
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 还记得那个引来巨大争议,最后把LeCun逼退推特的低分辨率图像还原算法PULSE吗? PULSE是针对低分辨率图像进行还原的,而就在PUL ...
如何实现最佳的跨平台游戏体验？Unity成亮解密实时渲染技术！
7月31日,2018云创大会游戏论坛在杭州国际博览中心103B圆满举行.本场游戏论坛聚焦探讨了可能对游戏行业发展有重大推动的新技术.新实践,如AR.区块链.安全.大数据等. Unity大中华区技术经理 ...
【GAMES-202实时渲染】1、软阴影01（Shadow Mapping、Peter Panning、PCSS原理超详细）
Lecture3 Real-Time shadows1 1 Shadow Mapping回顾 2 Shadow Mapping缺点及解决方案 2.1 自遮挡现象解决方案1 定义一个bias 解决方案 ...

计算机视觉与图形学-神经渲染专题-神经体渲染：实时渲染KiloNeRF

计算机视觉与图形学-神经渲染专题-神经体渲染：实时渲染KiloNeRF相关推荐

最新文章

热门文章