PlenOctrees for Real-time Rendering of Neural Radiance Fields

paper
code

My Comment

该论文是结合了图形渲染领域常用的球谐函数(SH, Spherical Harmonics)和NeRF来建模的。
首先应该了解NeRF.
其次，应该读懂什么是球谐函数或者球面高斯函数.
然后，我们都知道NeRF将ray marching上的x位置处的光照建模为density σ\sigmaσ 和 color ccc.
在该论文中作者使用SH来建模位置x处的各个方向的光照情况，简单来说球谐函数可表示为多个基函数相加的形式，将所有基函数前面的系数拎出来就是所说的球谐函数的系数。这个系数是通过网络来拟合得到的，有了系数k，就得到了x处的球谐函数，在渲染阶段就可以通过查询在某个角度的球谐函数结果来得到该位置在某个方向上的RGB的光照亮度，从而得到color。
结果来说，渲染速度可提升3000x多(因为不像NeRF那样到渲染阶段还要计算density和Σ\SigmaΣ ray marching上的各点)，这种只要查询即可得到结果因此速度很快。

m是基函数的阶数
l 是degree, k就是每个基函数的系数组合

之所以用SG(球面高斯函数)来代替SH，是因为SG的自由度更高，并且它是可学习的。

【论文笔记】PlenOctrees for Real-time Rendering of Neural Radiance Fields相关推荐

[非卷积5D中文翻译及学习笔记] 神经辐射场 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
不使用3D建模,使用静态图片进行训练,用(非卷积)深度网络表示场景的5D连续体表示,再通过ray marching进行渲染. 本中文翻译使用"机器学习+人工校准/注解"的方式完成. ...
论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...
【论文笔记 - NeRFs - ECCV2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 0背景介绍用神经辐射场来表征场景,用于新视角图像生成任务 ...
[论文解析] NeRF-Art: Text-Driven Neural Radiance Fields Stylization
文章目录 Overview What problem is addressed in the paper? Is it a new problem? If so, why does it matter ...
NeRF系列(2):NeRF in the wild : Neural Radiance Fields for Unconstrained Photo Collections论文解读与公式推导
NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections 论文:https://openaccess.t ...
论文笔记NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF使用神经网络来表示场景.给定一个场景,输入该场景一些视角的图片,NeRF可以合成该场景新视角的图片. 神经辐射场神经辐射场(neural radiance field,NeRF)使用5D的向 ...
读论文12——NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis
目录 Abstract Introduction Related Work Neural Radiance Field Scene Representation Volume Rendering wi ...
【论文精读】NeRF —— 解读《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》
NeRF的核心点是实现了复杂静态场景的隐式表达,用一个神经网络来建模. Abstract 本文提出了一种新方法,通过使用稀疏的输入视图集优化底层连续的体积场景函数,实现了合成复杂场景的新视图的SOTA ...
论文笔记：Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World
Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World 文章概况作者 ...
论文笔记 - 《ImageNet Classification with Deep Convolutional Neural Networks》精典
基于卷积神经网络的图像分类(经典网络) 作者:Alex Krizhevsky(论文中第一作者的名字为网络名字AlexNet) 单位:加拿大多伦多大学发表会议时间:NIPS 2012 (NIPS:机器 ...

【论文笔记】PlenOctrees for Real-time Rendering of Neural Radiance Fields

PlenOctrees for Real-time Rendering of Neural Radiance Fields

My Comment

【论文笔记】PlenOctrees for Real-time Rendering of Neural Radiance Fields相关推荐

最新文章

热门文章