简介

项目主页：https://urban-radiance-fields.github.io/
论文地址：https://urban-radiance-fields.github.io/

利用RGB图像和激光雷达扫描数据（由摄像机和扫描仪在室外场景中移动获得），进行三维重建和新颖的视图合成，适用于城市户外环境中的世界地图绘制(如街景)。

主要有以下三个方面创新

利用异步捕获激光雷达数据
解决捕获图像之间的曝光变化
利用预测的图像分割来监督指向天空的射线密度

问题与挑战

相机的位置偏向于行走模式(例如走直线)，而没有聚焦在场景的任何特定部分。与其他数据集相比，这导致只有少量摄像机观察到场景的某些部分，而其他数据集使用大量摄像机统一捕捉场景
天空在大多数街景中都是可见的，这就引入了一个无限远的元素，与摄像机附近的固体结构不同
由于相机使用自动曝光，这些图像的曝光量通常变化很大，光照亮度也随着太阳的能见度和位置而变化。结合自动白平衡，这导致相同的结构有不同的颜色时，从不同的相机观察
激光雷达点在场景远处的部分分辨率较低，甚至在场景的某些部分(例如，闪亮或透明的表面)完全不存在

创新、扩展

除了RGB图像外，纳入了激光雷达信息。通过融合这两种模式，可以弥补在大规模和复杂的场景中视点的稀疏性。同时引入了一系列基于激光雷达的损失，允许对固体结构(如建筑物)和体积结构(如树木/植被)进行精确的表面估计
自动分割天空像素，并定义一个单独的圆顶状结构，为指向天空的相机射线提供一个明确定义的监督信号
通过估计每个相机的仿射颜色变换自动补偿不同的曝光

实现方法

优化目标（损失函数）

颜色部分网络结构

总损失函数

场景级神经网络参数θ，每幅图像曝光参数{βi}

光度损失（Photometric-based Losses）

光度损失项类似于原始的NeRF方程，但也取决于估计的每幅图像曝光参数{βi}

体渲染方程（volume rendering）由两部分组成

曝光补偿（Exposure compensation）

通过映射系统获取的图像通常通过自动白平衡和自动曝光来捕获，这使得光度损失（Lrgb）计算变得复杂。之前使用潜在代码解决了这个问题，针对每个图像分别学习，将图像无关的场景亮度映射到图像相关的亮度。这种方法的一个缺点是，用每个图像的潜在代码建模曝光变化是过度参数化的，因为它允许潜在代码补偿非曝光相关的错误。相反，在体渲染方程中，我们对共享网络预测的亮度进行仿射映射，其中仿射变换是一个从每幅图像潜在代码βi∈R^B解码的3x3矩阵:

这种映射通过一个更严格的函数来模拟白平衡和曝光变化，因此当场景亮度参数θ和曝光映射β联合优化时，不太可能引起不必要的纠缠

天空模型（Sky modeling）

户外场景包含天空区域，光线不会相交于任何不透明的表面，因此NeRF模型在这些区域得到微弱的监控信号。为了解决这个问题，渲染模型包括一个以基于坐标的神经网络表示的球形亮度(环境)地图，类似于在GANcraft中使用的亮度地图

对每个图像运行一个预先训练的语义分割模型，以检测可能是天空的像素:Si=S(Ii)，其中Si®=1，如果射线r通过图像i中的天空像素。然后我们使用天空掩码来定义一个额外的损失，鼓励通过天空像素的射线在所有点样本的密度为零

每当Si®=1，这将使得体渲染方程中Csky解释在总损失函数中射线r的像素

雷达损失（Lidar losses）

使用激光雷达数据监督模型的训练，给出了L个激光雷达样本集D={(o '， D '， z ')L ’ =1}，每个对应一条射线r(z)=o ’ + zd '，以及相关的3D测量p ’ =r(z ')

损失分成两种不同类型:监督预期深度值，监督从激光雷达传感器到观察位置的视线方向上的自由空间

监督预期深度值（Expected depth）

在体绘制过程中（光学深度），开始监督期望的深度ˆz，以匹配激光雷达测量的深度

视线先验（Line-of-sight priors）

对于由激光雷达传感器观测到的点，一个合理的假设是，一个测量点p对应于一个非透明表面上的位置，大气介质对激光雷达测量的颜色没有贡献。

因此，我们期望辐射亮度集中在沿射线的一个点上，也就是说，一个点负责观察到的颜色

δ(.)为连续狄拉克函数。我们可以通过惩罚方法将这种约束转换为损失

为了使这个数值易于处理，我们可以用一个积分为1(即一个分布)的核来代替狄拉克

第二项为

这鼓励了表示增加了p附近的体积密度，从而允许训练更快地收敛

K(x)在[z−， z + ]在[z−， z + ]中有界支持，第一项可以简化为

这要求光线原点和激光雷达点p(即视线)之间的部分空间不包含任何3D表面，这种视线信息一直是“体雕”技术的关键组成部分

最后一项为

这一项的唯一目的是确保w(t)和为1，并且因为NeRF的体积渲染方程只要求w(t)和不超过1，所以在训练过程中可以去掉这一项

效果图

12、Urban Radiance Fields相关推荐

Urban Radiance Fields
Urban Radiance Fields:城市辐射场摘要:这项工作的目标是根据扫描平台捕获的数据执行 3D 重建和新视图合成,这些扫描平台通常部署用于城市室外环境中的世界地图绘制(例如,街景).给 ...
82、PAC-NERF: PHYSICS AUGMENTED CONTINUUM NEURAL RADIANCE FIELDS FOR GEOMETRYAGNOSTIC SYSTEM IDENTIFI
简介主页:https://sites.google.com/view/PAC-NeRF 涉及知识点: DVGO,使用网格加速nerf DiffTaichi,流体物理引擎(完全不懂,但大为震惊) Di ...
26、Nerfies:Deformable Neural Radiance Fields
简介主页:https://nerfies.github.io/ DNerf建模了场景内容的变形,但其目的不是为了提供多视角的动态图,而是为了对场景内容发生微小扰动更鲁棒.方法针对的是人的自拍图像,通 ...
读论文12——NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis
目录 Abstract Introduction Related Work Neural Radiance Field Scene Representation Volume Rendering wi ...
73、DisCoScene: Spatially Disentangled Generative Radiance Fields for Controllable 3D-aware Scene Syn
简介官网:https://snap-research.github.io/discoscene/ DisCoScene是一种用于高质量和可控场景合成的3d感知生成模型,该方法的关键成分是一个非常抽象 ...
[非卷积5D中文翻译及学习笔记] 神经辐射场 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
不使用3D建模,使用静态图片进行训练,用(非卷积)深度网络表示场景的5D连续体表示,再通过ray marching进行渲染. 本中文翻译使用"机器学习+人工校准/注解"的方式完成. ...
【论文笔记 - NeRFs - ECCV2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 0背景介绍用神经辐射场来表征场景,用于新视角图像生成任务 ...
论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis
GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis Abstract 虽然二维生成对抗网络能够实现高分辨率的图像合成,但它们在很 ...
一文搞懂神经辐射场（Neural Radiance Fields，NeRF）
NeRF 简介输入输出优缺点原理结构 pytorch实现第三方库进行 NeRF 的实现自行实现相关名词解释辐射场多层感知机(MLP) 点的密度体积渲染体积纹理渲染方程简介神 ...

12、Urban Radiance Fields

简介