Mip-NeRF 360

Mip-NeRF 360: Unbounded Anti-Aliased Neural Radiance Fields 无边界抗锯齿神经辐射场
论文提出了mip-NeRF（一种解决采样和混叠的NeRF变体）的扩展，该扩展使用非线性场景参数化、在线蒸馏和基于失真的新正则化器来克服无界场景带来的挑战。

将NeRF以及扩展模型应用于大型无界场景有以下挑战：
1.参数化。无边界360度场景可以占据欧几里得空间的任意大区域，但mip-NeRF要求3D场景坐标位于有界域中。
2.效率。大型和详细的场景需要更多的网络容量，但在训练期间密集地沿每条射线查询大型MLP是昂贵的。
3.歧义。无界场景的内容可能位于任何距离处，并且将仅由少量光线观察到，这加剧了从2D图像重建3D内容的固有模糊性。

创新点：
· 非线性场景参数化：提出一种类似卡尔曼滤波的方式将超出一定距离范围外的无界区域的高斯模型变换到非欧式空间中
· 在线“蒸馏”：若要令现有MLP去渲染无界场景，扩大网络结构的方式会降低渲染效率；因此在优化阶段，论文将网络分为两个：proposal MPL来优化权重参数，NeRF MLP来输出结果，这样在训练过程中，通过NeRF MLP优化proposal MLP来提高效率
· 基于失真的优化器：对于无界场景的渲染而言，会产生模糊的现象，即伪影；论文引入了一种优化器，针对基于圆锥体采样的渲染方式，最小化沿光线的所有点之间的加权绝对距离Ws（.）对重建场景中的伪影进行优化

Mip-NeRF回顾：
论文第一节介绍了Mip-NeRF：Mip-NeRF中将像素点看为一个锥体的圆形截面
原始nerf的一个像素点对应mip-nerf的一块区域
原始nerf的一条射线对应mip-nerf 的一个圆锥
原始nerf的一个采样点对应mip-nerf的一个圆台
原来的位置编码需要修改成对圆台进行位置编码，将圆台设置成服从高维的高斯分布（高斯分布表示圆台），在进行积分求期望编码，然后将位置与观看方向输入MLP得到颜色和密度，接着沿着这些圆台进行积分或加权平均。

1、场景和光线参数化

1、这里重新参数化3D坐标

上图是场景参数化的二维可视化，远点应按视差（反距离）而不是距离成比例分布。定义了一个contract(·) operator，它可以将坐标映射到半径为2的球体（橙色），其中半径为1（蓝色）的点不受影响。将这种收缩应用于欧几里德3D空间中的mip-NeRF高斯（灰色椭圆），类似于卡尔曼滤波器来产生收缩高斯得到红色椭圆，其中心保证位于半径为2的球内。contract(·)的设计与根据视差线性划分光线间隔的选择相结合，意味着从位于场景原点的camera投射的光线在橙色区域具有等距间隔。公式如下

当圆台超出蓝色区域，就会通过公式进行转换，首先进行归一化，除以||x||（∈（+1，-1）），（2-1/||x||）（该值∈（1，2）），就能把该区域转换到橙色球体内，论文中指出改变换类似于类似卡尔曼滤波。

2、论文提出了一种选择光线距离t（沿光线的距离）的方式，即根据视差参数化光线ray。将显式地对视差中的距离t进行线性采样，为了根据视差参数化光线，我们定义了欧几里得光线距离t和“归一化”光线距离s之间的可逆映射：g()是某个可逆标量函数，将[t_n , t_f]映射“归一化”射线距离s ∈ [0，1]。

2、Coarse-to-Fine Online Distillation

mip-NeRF使用了一种从粗到细的重采样策略

在 mip-NeRF 中，首先需要定义一组大致均匀分布的区间t^c，可以理解为直方图中的端点。如上图所示，每个间隔的高斯都被送入 mlp，并且得到直方图权重 w^c 和颜色 c^c。然后将这些颜色加权后得到像素点的颜色 C^c。之后这些权重被重采样，并得到一组新的区间t^f，并且在场景中有内容的地方，端点就会较为聚集。经过mlp得到精细的C^f 在计算两次得到的值得损失函数。

论文中建立两个网络，一个proposal MLP，它预测体积密度（不计算颜色），得到直方图权重后，使用一个“NeRF MLP”来产生权重和颜色，生成渲染图像C，我们监督proposal MLP被训练以产生与NeRF MLP的w输出一致的proposal weights w^\hat ww^ 。通过使用一个小的proposal MLP和一个大的NeRF MLP，获得了一个高容量的组合模型，它仍然易于训练。
为了使模型起效，需要一个损失函数来鼓励两个网络的直方图一致，首先定义一个函数，该函数计算与区间T重叠的所有proposal权重之和：

如果两个直方图彼此一致，那么它必须保持w_i≤bound(), 损失将惩罚违反此不等式并超过此界限的任何剩余直方图质量

3、Regularization for Interval-Based Models

经过训练的NeRFs通常表现出两种特征伪影，论文中称之为“漂浮物”和“背景塌陷”，提出了一种正则化器，在阶跃函数方面有一个简单的定义，阶跃函数由参数化每条射线的一组（归一化）射线距离s和权重w定义，该优化器的目的为最小化沿光线的所有样本之间的归一化加权绝对距离的值，即上图中所示的直方图的面积：

离散化该公式

例如下图中，通过以下方式鼓励每条射线尽可能紧凑：1）最小化每个间隔的宽度，2）将远处的间隔拉向彼此，3）将权重合并为单个间隔或少量附近的间隔，以及4）在可能的情况下（例如当整个射线未被占用时）将所有权重朝着零。

4、优化

使用了一个具有4层和256个隐藏单元的提议MLP和一个具有8层和1024个隐单元的NeRF MLP，这两个MLP都使用ReLU内部激活和密度τ的软加激活。损失函数如下，λ\lambdaλ=0.01

Mip-NeRF 360相关推荐

谷歌和伯克利分校的新工作：规模化大场景的神经绘制方法Block-NeRF
作者丨黄浴来源丨计算机视觉深度学习和自动驾驶 arXiv上2022年2月10日上传的论文"Block-NeRF: Scalable Large Scene Neural View Syn ...
Transformer拿下CV顶会大奖，微软亚研获ICCV 2021最佳论文
点击"凹凸域",马上关注更多内容.请置顶或星标来自机器之心编辑部 ICCV 2021 全部奖项已经公布,来自微软亚洲研究院的研究者获得 ICCV 2021 马尔奖(最佳论文) ...
为了自动驾驶，谷歌用NeRF在虚拟世界中重建了旧金山市
来源:机器之心本文约3100字,建议阅读10+分钟真不用来做成元宇宙? 训练自动驾驶系统需要高精地图,海量的数据和虚拟环境,每家致力于此方向的科技公司都有自己的方法,Waymo 有自己的自动驾驶出 ...
不可思议！英伟达新技术训练NeRF模型最快只需5秒，代码已开源
英伟达将训练 NeRF 模型从 5 小时缩至 5 秒. 你曾想过在 5 秒内训练完成狐狸的 NeRF 模型吗?现在英伟达做到了! 令人不可思议的是,就如谷歌科学家 Jon Barron 在推特上表示的 ...
训练NeRF只需5秒？！英伟达这项新技术给谷歌研究员整不会了 | 开源
杨净发自凹非寺量子位 | 公众号 QbitAI "这太疯狂了!" "18个月前,训练NeRF需要5小时-" "2个月前,训练NeRF需要是5分钟 ...
HTTP 视频怎么在 MIP 页面中使用？
在 MIP 中,一些资源的使用需要支持 HTTPS,视频就是其中一种.但目前大部分站点的视频资源都还是 HTTP 的资源,无法在百度 MIP 搜索结果中直接使用, mip-video 视频组件针对 H ...
原始 NeRF（新视图重建的神经辐射场）论文主要点细致介绍
对NeRF的开源代码的解读请见博文原始NeRF代码学习记录. 2022-11-20 NeRF 做得这么好的原因有: 它将渲染做成可微了,然后就可以数据驱动. 它避免了用复杂的物理模型去建模,而只是用 ...
使用NeRF进行3D体素渲染
使用NeRF进行3D体素渲染的最小代码实现文章目录使用NeRF进行3D体素渲染的最小代码实现前言一.设置二.下载并载入数据三.数据处理流程四.NeRF模型五.训练六.训练步骤可视化 ...
深度学习(20):nerf论文翻译与学习
目录 1 Introduction 2 Related Work 3 Neural Radiance Field Scene Representation 4 Volume Rendering wit ...
搜索引擎最新算法大全|更新到2020.2.28日（百度算法大全、360算法大全）
内容来源整理于各大搜索引擎公告以及互联网相关资讯. 更新时间目前为止应该是最新最全版本,此文章会陆续更新下去. 目前只找到百度和360有相关算法说明发布,搜狗和神马还没有官方公告如果后续发布将会持续补 ...