简介

主页：https://shsf0817.github.io/hdr-nerf/

共享点

提出了一种端到端方法HDR-NeRF，用于从不同曝光量的多个LDR视图中恢复高动态范围神经辐射场。
建立了相机响应函数模型，并从亮度场中渲染不同曝光的HDR视图和LDR视图。
收集了一个新的HDR数据集，包括合成场景和真实场景。与sota相比，我们的方法在该数据集上获得了最佳性能。数据集和代码将在本社区发布，用于进一步的研究目的。

实现流程

HDR-NeRF管道建模简化了物理过程。由两个模块组成:一个HDR亮度场为场景建模获得亮度和密度，一个色调映射器为颜色建模CRF。

原始NeRF公式

Camera Response Functions

入射辐照度被映射到像素值，并通过一系列线性和非线性图像处理(如白平衡)存储在图像中。所有的图像处理可以组合在一个单一的函数f称为相机响应函数(CRF)，而CRF由相机厂家独有。

以ISO增益和孔径为隐式因子，在不丧失一般性的前提下，非线性映射可建模为

其中H为辐照度，即入射到相机传感器上的总光量

Z为像素值

∆t为由快门速度决定的曝光时间

在神经辐射场中，忽略场景辐射对镜头光圈的积分，将辐照度视为辐射

Scene Representation

为了渲染新的HDR视图，将场景表示为有界3D体中的HDR辐射场，一个称为亮度场的MLP F被用来模拟HDR场景的亮度，它类似于NeRF。

输入射线原点 o 和射线方向 d，辐亮度场 F 输出射线 r(s) = o + sd的辐亮度e和密度σ

Learned Tone-mapping

CRF校准：确定像素的数字值和相应的辐照度之间的映射过程

基于CRF校准提出色调映射器，建模HDR射线到LDR射线的非线性映射，使用MLP f来估计相机的CRF，并将预测的亮度映射到颜色中，通过Eq.(4)将Eq.(5)预测的亮度e映射为颜色c

∆t® 表示捕捉光线r的相机的曝光时间，可以从包含照片元数据的 EXIF 文件中读取曝光时间

图像的RGB通道使用不同的 crf 进行色调映射，因此使用三个mlp来独立处理每个通道

采用经典非参数CRF标定方法，将所有图像转换为对数辐射域，对网络进行优化，这里假设音调映射器f是单调且可逆的

将lnf−1lnf^{-1}lnf−1的逆函数表示为 g，即 g = (lnf−1)−1(lnf^{-1})^{-1}(lnf−1)−1

音调映射函数被转换为具有对数辐射域的函数g

Neural Rendering

使用传统的体绘制技术来渲染穿过场景的每条光线的颜色

为了呈现HDR视图，取消了色调映射操作。HDR像素值近似为:

loss

C为每个像素的真实颜色,C^c,C^f\hat{C}_c,\hat{C}_fC^c,C^f分别为粗模型和细模型预测的颜色

论文通过颜色重建损失恢复亮度e到一个未知的比例因子α(即αe)，根据式(8)，相当于在函数 g 的自变量上增加一个位移 ln α，如（d）所示，为此需要添加一个附加约束来固定比例因子α，将g(0)的值固定为C0C_0C0，单位暴露损失定义为

这个约束的含义是，假设值为C0C_0C0的像素具有单位曝光。然而，C0C_0C0在实践中通常是未知的。在现实场景中，通常将C0C_0C0设置为像素值的中间位置，论文中使用0.5

λu为单位曝光损失的权重，训练时使用0.5

为了与地面真相HDR视图进行比较，在合成场景上设置C0C_0C0 = C0GTC^{GT}_0C0GT，其中C0GTC^{GT}_0C0GT表示输入对数辐亮度为0时地面真相CRF的像素值

效果

43、HDR-NeRF相关推荐

Chapter2、HDR流水线
本章主要对HDR成像的一整个流程做一个简要描述. HDR成像的整个流程可以写成: 1.捕获不同曝光时间的图片(便于我们获得不同的亮度范围便于合并来生成一个高动态范围的图像) 2.存储HDR图片(HDR ...
43、在java中一个类被声明为final类型，表示了什么意思？
43.在java中一个类被声明为final类型,表示了什么意思? 表示该类不能被继承,是顶级类. JAVA面试问题及答案大全
眼球追踪、HDR、VST，从代码挖掘Valve下一代VR头显
擅长爆料.挖掘线索的Brad Lynch,此前发布了Quest Pro等设备的线索文章引发关注.近期,又公布一系列与"Valve Deckard"VR头显相关消息,比如支持眼球追 ...
清晰度、分辨率、像素、4K、HDR的区别
像素,分辨率,清晰度的定义: 1.像素是指照片的点数(表示照片是由多少点构成的),分辨率是指照片像素点的密度(是用单位尺寸内的像素点,一般用每英寸多少点表示--dpi).照片实际大小是像素决定的.一个 ...
数字规律问题--面试题43、44、45、62
文章目录面试题43 1~n整数中1出现的次数面试题44 数字序列中某一位的数字面试题62: 圆圈中最后剩下的数字(约瑟夫环) 面试题43 1~n整数中1出现的次数题目: 输入一个整数 n ,求 ...
（二十）unity shader之——————基于物理的渲染技术(PBS)：下篇(PBS技术拓展：全局光照、伽马校正、HDR)
前面两篇文章我们介绍了PBS实现的数学和理论基础,和standard shader的原理和实现,还有一些其他的渲染相关的unity技术.其中有些概念和技术没有讲的很详细,现在对这些重要的概念进行更深入 ...
hdr与sdr_三张图说明SDR、HDR、伪HDR的区别
该楼层疑似违规已被系统折叠隐藏此楼查看此楼 HDR相比SDR的优势并不是简单的亮度更高,而是它包含了更多细节.就像图二当中那些密密麻麻连在一起的点. 同样的画面,在SDR下是在1到100之间用间距为 ...
（二）unity自带的着色器源码剖析之——————UnityCG.cginc文件（上篇:数学常数、颜色空间常数和函数、顶点布局格式结构体、进行空间变换的函数、HDR级光照贴图编解码相关函数等）
一.数学常数 unity3D内置着色器定义了一系列的数学常数,如下: 从第3行开始,第13行结束: #ifndef UNITY_CG_INCLUDED #define UNITY_CG_INCLUDE ...
神经网络辐射场NeRF、实时NeRF Baking、有向距离场SDF、占用网络Occupancy、NeRF 自动驾驶
1 NeRF原理 2 NeRF加速 Plenoxels KiloNeRF Instant NGP TensoRF 3 SDF + NeRF 4 Occupancy + NeRF 5 NeRF应用简介 ...

43、HDR-NeRF

简介