【论文解析】RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs
文章目录
- 内容速览
- 具体方法
- 1 背景
- 2. Patch-based Regularization
- 3. Sample Space Annealing
- 结果
内容速览
- 问题： 当可用视角图像数量减少的时候，NeRF效果不好。
- 发现： 在稀疏输入场景中，大多数artifats是由估计场景几何形状中的错误和训练开始时的发散行为造成的。
RegNeRF
- 一种正则化稀疏输入场景的NeRF模型的新方法。
- 正则化从未观察到的视点渲染的patches的几何形状和外观，并在训练期间处理射线采样空间（annealing the ray sampling space）
- 使用规范化流模型来正则化未观察到的视点的颜色。
- 不仅优于其他优化单一场景的方法，在许多大型多视图数据集上进行了广泛的预训练的条件模型也可用。（ Our model outperforms not only other methods that optimize over a single scene, but in many cases also conditional models that are extensively pre-trained on large multi-view datasets.）
Contributions
- 一个patch-based的正则化器，用于从未观察到的视点渲染的深度地图，它减少了浮动的artifacts和改善场景几何。
- 一种规范化流模型，通过最大化渲染patches的对数似然值来正则化在不可见视点的颜色预测，从而避免不同视图之间的颜色转移。
- 一种annealing策略，用于沿着光线采样点，我们首先在一个小范围内采样场景内容，然后扩展到完整的场景边界，以防止在训练早期发散。
框架图
- 我们提出采样未观测到的视图(红色摄像机)，并将这些视图渲染的petch的几何形状和外观规则化。
- 我们根据给定radiance field f θ f_{\theta} fθ 从未观察到的视点投射通过场景光线并渲染petch.
- 然后，我们通过给训练的normalizing flow model ϕ \phi ϕ和最大化预测对数似然 输入预测的RGB patches 来正则化外观。
- 我们通过在渲染深度块上强制一个平滑损失来正则化几何。
- 我们的方法得到3d一致的表示，即使是稀疏的输入，现实的新视图可以渲染。
具体方法
1 背景
将NeRF表示为:
体绘制表示为：
损失：
min-NeRF
- NeRF每像素只投射一条光线，而mip-NeRF[2]则投射一个圆锥体
- 位置编码从表示一个无穷小的点转变为对一个由圆锥体覆盖的体积的积分。
- 我们在这项工作中采用mip-NeRF表示。
2. Patch-based Regularization
- 我们定义了一个不可见但相关的视点的空间，并从这些摄像机中随机取样渲染小块(patch)
- 我们的关键思想是，这些patch可以正则化，以产生平滑的几何图形和高可能性的颜色。
未观察到的视点的选择
我们假设目标poses 的已知集合 { P t a r g e t i } i \left\{P_{target}^i\right\}_i {Ptargeti}i：
这些目标姿势可以被认为是我们想要在测试时渲染新视图的姿势集合的边界我们将可能的摄像机位置空间定义为所有给定的目标摄像机位置的边界框
为了获得摄像机旋转的样本空间，我们假设所有的摄像机大致聚焦在一个中心场景点上。
我们通过计算所有目标姿势向上轴上的归一化平均值来定义一个公共的“向上”轴¯pu。
为了学习更鲁棒的表示，我们在计算摄像机旋转矩阵之前向焦点添加随机抖动。
我们定义所有可能的摄像机旋转集合(给定采样位置t)为
我们通过采样一个位置和旋转来获得一个随机的相机姿态：
Geometry Regularization：
- 深度计算如下：（少了颜色）
- 深度平滑损失为：
颜色正则化：
- 我们的关键思想是估计渲染patch的可能性，并在优化期间最大化它。我们利用现成的非结构化2D图像数据集。
- 我们在JFT-300M数据集[53]的补丁上训练RealNVP[10]规范化流模型。
- 公式10为已学习的bijection。
- 颜色正则化损失：
- 整体损失 ：
3. Sample Space Annealing
- 在优化过程中，通过早期迭代对采样场景空间进行快速退火，有助于避免这个问题
- 通过将场景采样空间限制在一个为所有输入图像定义的较小区域，我们引入了一个归纳偏差来解释场景中心具有几何结构的输入图像。
- 设tm为一个确定的中心点(通常是tn和tf之间的中点)。
i是训练的迭代。
Nt是一个超参数，指示到达完整范围之前的迭代次数
Ps表示起始范围的超参数(例如，0.5)
结果
【论文解析】RegNeRF: Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs相关推荐
- 论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录 文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...
- 【论文笔记 - NeRFs - ECCV2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 0背景介绍 用神经辐射场来表征场景,用于新视角图像生成任务 ...
- 文献翻译阅读-NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录 信息 简介 相关工作 神经3D表示 视角合成和基于图像的渲染 方法 体渲染技术(用离散形式表示连续积分) 优化神经场的技术 位置编码 分层体积抽样 实施细节 结果 结论 参考 信息 NeRF,即 ...
- [非卷积5D中文翻译及学习笔记] 神经辐射场 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
不使用3D建模,使用静态图片进行训练,用(非卷积)深度网络表示场景的5D连续体表示,再通过ray marching进行渲染. 本中文翻译使用"机器学习+人工校准/注解"的方式完成. ...
- NeRF拜读：Representing Scenes as Neural Radiance Fields for View Synthesis
神经辐射场 非显式地将一个复杂的静态场景用神经网络来建模.训练完成后,可以从任意视角渲染出清晰的场景图片. 过程 大量已知相机参数的图片作为输入 通过输入训练MLP神经网络,隐式地学习静态3D场景 利 ...
- [论文解析] NeRF-Art: Text-Driven Neural Radiance Fields Stylization
文章目录 Overview What problem is addressed in the paper? Is it a new problem? If so, why does it matter ...
- 【论文精读】NeRF —— 解读《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》
NeRF的核心点是实现了复杂静态场景的隐式表达,用一个神经网络来建模. Abstract 本文提出了一种新方法,通过使用稀疏的输入视图集优化底层连续的体积场景函数,实现了合成复杂场景的新视图的SOTA ...
- 读论文12——NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis
目录 Abstract Introduction Related Work Neural Radiance Field Scene Representation Volume Rendering wi ...
- 论文笔记NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF使用神经网络来表示场景.给定一个场景,输入该场景一些视角的图片,NeRF可以合成该场景新视角的图片. 神经辐射场 神经辐射场(neural radiance field,NeRF)使用5D的向 ...
最新文章
- 学习springboot基础必备
- set的使用03（较多的操作函数）
- Python设计模式之外观模式实例讲解
- 多核处理器_基于NXP i.MX8MM多核应用处理器设计的智能加油机
- Spring Boot中使用Redis数据库
- CNN是不是一种局部self-attention？
- JavaScript 编码规范大全-Eslint（持续更新，欢迎关注点赞加评论）
- 程序员的绩效到底是应该衡量项目，还是改 Bug 量？
- python 执行shell 事务_python中执行shell的两种方法总结
- ai转型指南_穿越AI转型的转折点
- tinymce 字体样式_TinyMCE-添加中文字体及修改字体大小
- 安装谷歌 axure插件
- 常见的自动化测试工具汇总
- 计算机网络期中考试总结反思,期中考试总结反思
- 1+x 云计算平台运维与开发测试题
- firefox autoproxy 实现ssh代理上网,针对XP，新版可以用firefox的foxproxy组件
- 炉石无限重新连接服务器,炉石传说：竟然还有这种无限资源的操作
- 测试心理素质的软件,心理素质测试
- 武汉微软认证考点及考试流程 与 微软认证考试流程
- 前端程序员Vue开发经验总结