[ECCV2020]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

标题：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
链接：https://arxiv.org/pdf/2003.08934v2.pdf
目的是从多张2D图中恢复出3D场景。
区别于别的直接通过图片生成对应3D结果的模型，nerf的模型都是针对单场景优化的，输入是相机位置和观看方向，输出就是对应的密度图和深度信息。
具体步骤：
1.先假设模型从相机处发射一堆平行的射线
2.让网络根据这些射线，计算出每个射线上遇到的颜色和物体密度（比如穿过了玻璃，穿过了小草之类的）
3.基于这些信息使用传统的volume rendering技术来渲染成对应的2D图像
4.由于这些步骤都是可导的，所以可以用生成的2D图像与原始图像计算重构损失，进而优化模型。
5.为了保证不同视角的信息一致性，密度信息仅基于位置，而颜色信息基于位置和方向（因为不同方向看同一个东西颜色可能不一样）。方案就是先让网络基于位置预测出密度，然后再将网络提取出的feature加上方向信息通过新的网络预测出颜色。

优化方案：
1.发现直接使用相机信息作为输入的话模型收敛的不好，所以使用了positional encoding
2.使用了分级的采样方案，先粗采样，再根据粗采样的信息进行细采样，提升了采样的效率

优点：
1.使用模型替代了复杂模型的存储，可以大大的节约存储空间。
2.效果也非常好

参考链接：NeRF：用深度学习完成3D渲染任务的蹿红_Wing Ardium Leviosa的博客-CSDN博客_nerf 渲染

【NeRF论文笔记】用于视图合成的神经辐射场技术 - 林天威的文章 - 知乎

[ECCV2020]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis相关推荐

【论文笔记 - NeRFs - ECCV2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 0背景介绍用神经辐射场来表征场景,用于新视角图像生成任务 ...
[非卷积5D中文翻译及学习笔记] 神经辐射场 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
不使用3D建模,使用静态图片进行训练,用(非卷积)深度网络表示场景的5D连续体表示,再通过ray marching进行渲染. 本中文翻译使用"机器学习+人工校准/注解"的方式完成. ...
论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...
文献翻译阅读-NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录信息简介相关工作神经3D表示视角合成和基于图像的渲染方法体渲染技术(用离散形式表示连续积分) 优化神经场的技术位置编码分层体积抽样实施细节结果结论参考信息 NeRF,即 ...
【论文精读】NeRF —— 解读《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》
NeRF的核心点是实现了复杂静态场景的隐式表达,用一个神经网络来建模. Abstract 本文提出了一种新方法,通过使用稀疏的输入视图集优化底层连续的体积场景函数,实现了合成复杂场景的新视图的SOTA ...
论文笔记NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF使用神经网络来表示场景.给定一个场景,输入该场景一些视角的图片,NeRF可以合成该场景新视角的图片. 神经辐射场神经辐射场(neural radiance field,NeRF)使用5D的向 ...
《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》论文精读
Abstract 我们提出了一种方法,通过使用稀疏的输入视图集优化底层连续体场景函数,实现了合成复杂场景新视图的最先进结果.我们的算法使用全连接(非卷积)深度网络表示场景,其输入是单个连续的5D坐标( ...
NeRF拜读：Representing Scenes as Neural Radiance Fields for View Synthesis
神经辐射场非显式地将一个复杂的静态场景用神经网络来建模.训练完成后,可以从任意视角渲染出清晰的场景图片. 过程大量已知相机参数的图片作为输入通过输入训练MLP神经网络,隐式地学习静态3D场景利 ...
读论文12——NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis
目录 Abstract Introduction Related Work Neural Radiance Field Scene Representation Volume Rendering wi ...
NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis
目录简介 Pipeline 细节讲解结果简介什么是NeRF?NeRF翻译为神经辐射场. 下面两句话取自于Neural Fields in Visual Computing and Beyond ...

[ECCV2020]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

[ECCV2020]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis相关推荐

最新文章

热门文章