NeRF 神经辐射场

蓝色
紫色
红色

NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis

Author From ：

学习链接：辐射神经场算法——Wild-NeRF / Mipi-NeRF / BARF / NSVF / Semantic-NeRF / DSNeRF

从NeRF -> GRAF -> GIRAFFE，2021 CVPR Best Paper诞生记

Abstract

本文提出了一种最先进的利用稀疏输入视角图片合成复杂场景新视角的方法，该方法通过优化基本连续的 体渲染函数 来实现。本文算法的场景表示通过一个全连接网络来实现，输入是一个简单的连续5D坐标（空间位置：(x,y,z)，观察方向：(θ,Φ)），输出体密度和该空点在相关视角的发出光线上的颜色。本文通过查询沿着相机发出光线的5D坐标并通过传统的体渲染技术将输出的颜色和透明度投影到图像中。由于体渲染函数是 自然可微 的，优化我们的表示方法的唯一需要的输入是一组已知相机位姿的图像。

场景的隐式表达

参考学习：旷视 CV Master 基于神经网络的3D重建

体渲染

通过采样实现积分的离散化

计图可微渲染新视角生成赛讲解

NeRF存在的问题

性能较差
训练代价大，通常需要训练几天甚至一周
渲染速度较慢，渲染一张800*800的图像需要大概30s
对高光、半透明材质的渲染效果较差
对复杂几何的拓展性较差，例如围巾等针织结构
对原场景三维几何的恢复效果较差，常出现渲染图像质量高但恢复几何质量低的情况【因为它同时估计了RGB和σ，可以通过一个bias调整，如果单独把σ取出来可能并不那么好】

一些思考

学习链接：NeRF系列公开课07 | 在非理想输入下NeRF的重建

取得成功的原因： positional encoding & hierachicle sampling 这些trick使得重建效果非常好
渲染过程简单，可复现性强【体现在loss的计算和反向传播上（自然可微的）】

【补充】不足：仅能拟合建模单个场景、几乎不可编辑、对输入图像有要求

重建NeRF所需要的输入图片要求

曝光相同
图片清晰无模糊，噪声
数量通常>15张
图片大概在同一尺度上
需要能得到正确相机标定数据

NeRF 神经辐射场相关推荐

NeRF神经辐射场ECCV2020
目录 NeRF前置内容:渲染和观察方向摘要 1.Introduction 2.Related Work 2.1.Neural 3D shape representations 2.2.View sy ...
大汇总 | 9种基于神经辐射场NeRF的SLAM方法你都知道吗？
作者 | 秦通编辑 | 算法邦点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[SLAM]技术交流群后台回复[SLAM综述]获取 ...
初识神经辐射场NeRF
NeRF,即Neural Radiance Fields(神经辐射场)的缩写.研究员来自UCB.Google和UCSD. Title:NeRF: Representing Scenes as Neur ...
[非卷积5D中文翻译及学习笔记] 神经辐射场 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
不使用3D建模,使用静态图片进行训练,用(非卷积)深度网络表示场景的5D连续体表示,再通过ray marching进行渲染. 本中文翻译使用"机器学习+人工校准/注解"的方式完成. ...
一文搞懂神经辐射场（Neural Radiance Fields，NeRF）
NeRF 简介输入输出优缺点原理结构 pytorch实现第三方库进行 NeRF 的实现自行实现相关名词解释辐射场多层感知机(MLP) 点的密度体积渲染体积纹理渲染方程简介神 ...
[论文阅读-NeRF+SLAM]NeRF-SLAM：使用神经辐射场表征的实时稠密单目SLAM系统
NeRF-SLAM NeRF-SLAM: Real-Time Dense Monocular SLAM with Neural Radiance Fields 第一个结合稠密单目SLAM和层次化体素神 ...
神经辐射场（NERF）模型：一个令人惊叹的三维场景重建方法
在计算机图形学.计算机视觉和增强现实等领域,三维场景重建一直是一个热门话题.近年来,神经网络模型的出现已经彻底改变了这个领域,而其中最引人注目的就是 NERF(神经辐射场)模型.在这篇文章中,我们将深 ...
NERF++: ANALYZING AND IMPROVING NEURAL RADIANCE FIELDS分析和改进神经辐射场
目录 NERF++: ANALYZING AND IMPROVING NEURAL RADIANCE FIELDS分析和改进神经辐射场 ABSTRACT 1 INTRODUCTION 2 PRELIM ...
神经辐射场 (NeRF) 概念
神经辐射场 (NeRF) 概念理论介绍 NeRF模型以其基本形式将三维场景表示为由神经网络近似的辐射场.辐射场描述了场景中每个点和每个观看方向的颜色和体积密度.这写为: F(x,θ,φ)→(c, ...
五问Nerf | 简单易懂的神经辐射场入门介绍
作者 | lcltopismine3 编辑 | 汽车人原文链接:zhuanlan.zhihu.com/p/597579341 点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨 ...