Real-time noise-aware tone mapping阅读笔记

《Real-time noise-aware tone mapping》
G Eilertsen, RK Mantiuk, J Unger - ACM Transactions on Graphics (TOG), 2015 - dl.acm.org
文章链接

全文翻译（机翻+部分修改）

Abstract

许多应用需要实时高质量的视频色调映射，例如相机中的数字取景器、适应环境光的显示算法、相机处理、视频游戏渲染引擎和视频后处理。我们为这些应用提出了一个可行的解决方案，设计了一个视频色调映射解决方案，该解决方案控制噪声的可见性，适应显示和观看环境，最小化对比度失真，保留或增强图像细节，并且可以在传入序列上实时运行，而无需任何预处理。据我们所知，没有任何现有的解决方案提供所有这些功能。我们的新贡献是：计算局部显示自适应色调曲线的快速过程，该曲线可最小化对比度失真；无振铃伪影的快速细节增强方法；以及结合上述所有特征的集成视频色调映射解决方案。

关键词：色调映射、视频色调映射、高动态范围成像

1 Introduction

高动态范围（HDR）视频将为高端影院和消费级产品提供前所未有的观看体验。在对扩展的视觉逼真度和艺术自由度的需求的推动下，HDR技术目前进展非常迅速。在拍摄方面，我们看到了专业HDR相机系统的发展，如Arri Alexa XT和红色史诗巨龙，其动态范围扩展到14-16.5个f-stops，以及研究原型[Tocci et al.2011；Kronander et al.2013]展示了高达20-24个f-stops的动态范围。在制作方面，各大制片厂通过开发完全支持HDR的制作管道，将一套全新的创作工具交给艺术家们，以满足这一持续发展的趋势。在显示器方面，HDR技术也备受关注。制造商，例如Sim2，已经开始使用高对比度局部调光技术扩展动态范围，杜比视觉X-Trend dynamic range PRO最近已经发布。尽管在HDR视频管道的每一步（从捕获和处理到压缩和显示）都付出了巨大的努力，但一个重要的挑战仍然需要大幅改进：HDR视频的色调映射。

尽管需要稳健的视频色调映射，但现有算法往往达不到预期效果，因为它们往往会暴露或放大噪声，无法处理较大的对比度压缩，引入振铃、重影或时间闪烁[Eilertsen等人，2013]，不适应显示和观看条件，或者计算速度较慢。

我们提出了一种新的视频色调映射算子（TMO），它控制噪声的可见性，适应显示和观看环境，最小化对比度失真，保留或增强图像细节，并且可以在传入序列上实时运行，而无需任何预处理。我们色调映射的目的要么是在目标显示的约束条件下保持原始图像中的对比度，要么为对比度增强提供创造性的控制，并提供最终结果的实时全分辨率视觉反馈。我们不尝试匹配场景参考HDR内容中的外观或可见性，例如驾驶模拟器，尽管此类模型可以与我们的方法相结合。

我们的主要技术贡献是：

一种快速计算局部显示自适应色调曲线的程序，可最大限度地减少对比度失真。
对图像噪声自适应的噪声感知色调曲线。
用于色调映射的基本-细节层分解的滤波器设计，可实现快速边缘停止非线性扩散近似，从而实现细节增强，而不会产生振铃伪影。
一种集成的实时视频色调映射解决方案，它将新颖的噪声控制与显示自适应相结合，在显示受限的情况下生成高对比度和详细的视频。

为了证明我们的方法的有效性，我们使用一系列具有挑战性的输入HDR视频序列来评估我们的TMO，并将我们的算法与现有的最新技术进行比较。我们还展示了我们的噪声感知TMO如何用于未处理的噪声输入数据，以及如何提高使用最先进的去噪算法处理的输入数据的视觉质量。最后，我们还展示了显示自适应特征的能力，以及细节提取技术提供的艺术自由。

2 Related work

Eilertsen等人[2013]评估和分析了11个视频色调映射算子。他们将它们分为模拟视觉系统特性和局限性的视觉系统模拟器（VSS）、试图保持原始场景外观的视觉系统模拟器（SRP）和产生主观偏好图像的视觉系统模拟器（BSQ）。当与默认参数一起使用时，我们的解决方案满足了SRP操作符的意图，但也提供了对对比度增强的控制，以达到BSQ操作符的目标。Eilertsen等人得出的结论是，所有被测试的操作都容易引入伪影，如闪烁、重影、噪声放大或缺乏细节，我们在建议的解决方案中解决了这些问题。

对于许多视频TMO来说，闪烁等时间伪影是一个重要问题。对于时间稳定性，全局运算符通常依赖于随着色调曲线时间的推移进行滤波[Mantiuk等人，2008年]，或TMO参数[Pattanaik等人，2000年；Kiser等人，2012年]。虽然这允许有效的实现，但对于本地tmo来说情况更为复杂，其中色调再现可以在本地水平上随时间而非相干地改变。为了克服这些问题并减少噪声，许多本地运营商在像素域中采用时空滤波器，[Ledda等人，2004；贝内特和麦克米兰2005；Van Hateren，2006年），或沿着运动路径[Aydin等人，2014年]。然而，这些过滤器的计算成本通常很高，并且不适合实时处理，这是我们TMO的一个关键目标。另一个问题是，它们容易引入重影伪影，或者在光流失效的情况下可能无法正常工作。与这些方法不同的是，我们依赖于一种新的空间滤波器，该滤波器专门设计用于稳健的基础-细节层分解，因此色调再现中的空间变化随时间而一致。

提出的空间滤波器可与许多现有的边缘保留滤波器进行比较[Perona和Malik 1990；Aurich and Weule 1995；Tomasi和Manduchi 1998；Aubry等人，2014年]。然而，与之相反，我们的滤波器设计用于在色调映射场景中最佳提取细节，而不是边缘保持平滑或去噪。它还产生了一个简单的实现，非常适合于并行硬件架构。

在本文中，我们使用[Froehlich et al.2014]公开数据库中的HDR视频输入。此数据集适用于色调映射操作的评估，因为它包含在真实场景中捕获的高质量镜头。

3 Algorithm design and overview

我们的TMO（如图2所示）是围绕三个基本要求构建的：噪声感知、时间鲁棒性和显示自适应性。两个基本构件是第3.1节中描述的噪声模型和第3.2节中描述的反向显示模型。如图所示，我们的算法可分为三个主要部分：

边缘停止空间滤波器-每个输入HDR帧I首先转换为对数域l=对数（I），并分解为基本层b（描述图像上的亮度变化）和细节层d（描述局部特征）。第5节讨论了稳健基础-细节层分解的滤波器设计。

局部色调曲线-然后使用空间分布在图像上的一组局部色调曲线压缩基本层b的动态范围。每个色调曲线从输入的亮度范围映射到显示器上可实现的亮度范围，如第3.2节中讨论的显示模型所述。色调曲线在控制噪声可见性的同时最小化贴图引入的对比度失真，并且随着时间的推移对其形状进行过滤以避免时间闪烁。第4节讨论了噪声感知最小对比度失真色调映射。

对图像细节的噪声感知控制-我们的TMO允许用户通过缩放细节层d来保持（SRP）或艺术性地增强局部对比度和细节（BSQ）。通过考虑原始基本层b和色调贴图基本层btm的噪波特性，控制已处理细节层dout中噪波的可见性。第6节对此进行了详细描述。

然后组合色调映射的基本层btm和处理的细节层dout，使用标准技术从输入恢复颜色[Mantiuk等人，2009]，并使用反向显示模型将色度值转换为像素。

3.1 Noise in tone mapping

使用现代去噪算法可以大大降低视频序列中的可见噪声[Maggioni et al.2012；Aydin等人，2014年]。但是，过强的去噪会引入模糊并降低图像清晰度。由于锐度的缺乏是一种比噪声更难容忍的伪影，因此常见的视频处理实践是采用保守的降噪，然后在手动颜色分级步骤中隐藏剩余的噪声。在这里，我们提出了如何通过噪声感知色调映射实现后一步的自动化。我们方法的输入要么是（保守地）去噪的视频序列，要么是有噪声的视频序列。结果是一个视频，其中噪声的可见性通过考虑噪声特性及其在特定显示设备上的可见性而降低。

图3说明了这个问题。高端摄像机提供大光圈和大传感器，通常产生比视觉系统更低的噪音水平。如图3所示，摄像机噪声的红线低于HVS阈值的蓝线。然而，当为显示器对图像进行色调映射时，绝对亮度水平增加，精细对比度细节增强，从而产生具有良好可见噪声（品红色线）的图像。我们方法的目标是将噪声级保持在可见性阈值以下。我们的方法可以与现有的去噪方法结合使用，因此去噪滤波器可以去除最令人不快的高振幅噪声，而低振幅噪声则可以通过我们的噪声感知处理来隐藏。

我们在两个点控制噪声可见性：计算色调曲线时（第4.1节），以及保留局部对比度和细节时（第6节）。为了控制噪声，我们需要对噪声的大小和可见性阈值进行建模。数码相机中噪声的变化可以建模为光强I的函数[Foi等人，2008]：

其中a和b是负责噪声的信号相关（光子噪声）和信号无关（读出噪声）分量的参数。参数可以从输入图像估计[Foi等人，2008]，由摄像机提供，或手动调整。

为了说明视觉系统对光的非线性敏感性（韦伯-费希纳定律），我们将在对数域中操作。对数域中的噪声大小可近似为：

在图3中，这种噪声大小被绘制为红线。可见性阈值的保守估计值（如图3中的蓝线所示）由特定显示亮度等级Ld的**对比度灵敏度函数（CSF）**的峰值给出。我们使用[Mantiuk et al.2011]中的CSF，并将检测阈值（Ct（Ld）=1/CSF（Ld））从Michelson对比度转换为对数对比度，以获得对数亮度的最小可检测差异：

3.2 Display adaptivity

任何色调映射操作符的主要约束是可在目标显示设备上显示的可用亮度范围。这种范围不仅取决于特定的显示技术，如OLED或LCD，还取决于环境光照水平。一部分环境光从显示屏反射，因此降低了可用的显示对比度。我们的运营商被设计为调整这一点，并产生最佳的图像给定的当前环境光线水平，这可以很容易地用光传感器测量。

可用亮度范围可使用标准伽马增益偏移显示模型[Berns 1996]进行建模，并对环境光进行修改[Mantiuk等人，2008]：

其中，Ld是显示亮度或辐射度（从显示表面测量），L′是像素值（0–1），是显示伽马（通常接近2.2），Lmax是峰值显示亮度（办公显示器约200 cd/m2）。Lblack是显示黑色级别，它是在完全黑暗的房间中显示的黑色像素的亮度（对于LCD显示器，通常为0.1到0.8 cd/m2）。Lrefl是从显示屏表面反射的环境光。对于非光泽屏幕，这可以近似为：

式中，Eamb是以勒克斯单位给出的环境照度，k是显示面板的反射率（LCD显示器为0.5–1%）。

4 最小对比度失真色调曲线

色调曲线将像素值从输入亮度映射到显示器亮度，是将图像对比度降低到可显示范围的主要工具。传统摄影中使用的色调曲线是S形的，它在中色调中保持对比度，但在低色调和高色调中会产生更高的失真。如果模拟胶片需要固定形状的色调曲线，则数字处理允许每个图像甚至图像区域的色调曲线发生变化。本节介绍了这种局部色调曲线的推导过程，该曲线最大限度地减少了对比度失真，并且计算速度很快。

为了使问题在分析上易于处理，我们将色调曲线参数化为具有节点（lk，vk）的分段线性非递减函数，如图4所示。l是输入中的对数亮度，v是显示值的对数亮度。两个节点（lk，vk）和（lk+1，vk+1）之间的每个段k在对数亮度值中具有等于δ（在我们的实现中为0.2）的恒定宽度。为简单起见，可在显示器上显示的最大对数亮度值固定为0，最小值随有效显示器动态范围r而变化。可使用等式4中的显示模型计算当前环境光照水平的r，如下所示：

预期对比度失真 可以说，色调映射引起的最相关失真是图像对比度的变化，我们希望将其最小化。让我们用符号G表示输入图像的对比度，用符号∼ G表示色调映射后的对比度。在最简单的情况下，对比度G可以是两个相邻像素之间的差值（我们将解释并推导，将其可以推广到一系列对比度定义）。对于每个输入对数亮度级别l，我们可以关联对比度值p（G | l）的特定分布。鉴于此，我们可以将由于色调映射而产生的对比度失真的预期值表示为：

内部积分“求和”平方失真（G− ∼ G） 2，在特定输入对数亮度水平l下的所有可能对比度值（G）。在所有输入对数亮度水平（l）上产生的外部积分“和”。p（l）是在背景亮度l上显示特定对比度G的概率。p（G | l）是在给定背景亮度l的情况下，图像对比度为G的概率。例如，如果对比度G定义为梯度，则该概率将遵循重尾分布。对于自然图像，对比度分布在一般情况下与局部背景亮度l无关，因此我们可以假设p（G | l）=p（G）。如果我们使用分段线性色调曲线离散上述方程，我们可以将k段的失真对比度表示为：

其中sk是段k中色调曲线的斜率：

因此，预期失真的离散近似可表示为：

请注意，项（1−sk）与对比度无关，因此可以移动到总和之外。可将值p（lk）计算为图像对数亮度值的直方图，当k=1…N时，料仓中心位于lk。

最小对比度失真 我们的目标是最大限度地减少由等式10中的色调曲线引起的预期对比度失真：

使服从：

第一个约束确保色调曲线不减少，第二个约束确保不超过显示上的最大可用动态范围(如式6)。

注意，等式10中G上的和与色调曲线斜率sk无关。因此，当将“（s1，…，sk）最小化为s1…K给出的色调曲线的函数时，对比度分布p（G）对最小值没有影响。因此，可以将问题简化为最小化函数

根据方程式12中给出的条件。通过计算相应拉格朗日函数的一阶Karush-Kuhn-Tucker（KKT）最优性条件，可以解析地解决该问题。这给出了解决方案（参考附录A的推导）：

上述解决方案可能会导致负斜率，从而违反第一个约束。因此，对于概率p（lk）小于某个阈值的线段，我们将斜率设置为0。从方程14中我们可以看出sk≥0时：

请注意，上述不等式无法直接求解，因为它在等式左侧和右侧的和中都包含p（lk）。此外，如果任何i的p（li）等于0，则该方程无法求解。因此，为了找到具有非零斜率的段，我们将这些段划分为概率p（lk）高于某个阈值pt的段：

将斜率0分配给剩余的线段，并迭代更新阈值概率：

对于t=1，2…，其中|Ω t |是集合Ωt的基数。当用一个小的起始概率值初始化时，这里的p0=0.0001，递归公式会快速收敛，并允许我们将段分离为具有零斜率和正斜率的段，并强制执行优化问题的第一个约束。

由于方程中的和超过20–30个片段，因此只需给出一个图像直方图，就可以以最小的计算开销找到色调曲线。与更复杂的指标相比，复杂度显著降低，例如[Mantiuk et al.2008]中使用的指标，其中需要建立多尺度金字塔并解决一系列二次规划问题。与[Mantiuk et al.2008]相反，我们使用简单的L2范数而不是视觉模型来测量对比度失真。然而，由于色调曲线的灵活性有限，复杂视觉模型的好处微乎其微。

4.1 Noise- and content-aware tone-curve

在前面的章节中，我们假设概率p（lk）对应于图像中给定强度值的频率（取自图像直方图）。然而，这并不是图像中特定强度水平重要性的理想估计器。例如，如果图像的实质部分包含均匀表面，例如白墙，则由于直方图中产生的峰值，相应的p（lk）值将较高。由于平面通常不是图像中最突出的部分，因此为其指定高度重要性和为其分配陡峭色调曲线几乎没有什么意义。类似地，夜景通常包含大量噪声的大区域，而细节很少。为这些区域分配动态范围将导致噪声放大，并产生不吸引人的结果。

为了解决这个问题，我们计算p（lk）值时同时考虑了图像内容和噪声水平，将更高的重要性分配给对比度变化高于噪声水平的区域。首先，我们将局部对比度估计为高斯窗口内计算的标准偏差：

其中∗ 是卷积算子，g σ是标准偏差为σ的高斯核（在我们的实现中为3）。然后，我们将概率计算为直方图，该直方图由像素位置处大于噪声级n（等式2）的对比度值加权。在形式上，这可以表示为：

其中：

S是局部对比度高于噪声水平的所有像素的集合，Bk是S的子集，其中包含特定直方图单元k内的像素。在实践中，这种方法将受传感器读出噪声影响的暗区域移向暗色调，使其不太可见。它还可以避免在较大的均匀区域中过度拉伸对比度。

色调优先级——上述噪声感知图像对比度度量可以被视为图像显著性的简单度量。如果这个简单的显著性度量不够，我们的方法可以很容易地扩展到更高级的度量，例如，将更高的显著性分配给检测到的人脸或肤色。我们还发现包含色调优先级参数很有用，该参数通过根据输入对数亮度加权p（lk）值来平衡高或低色调的重要性。这为生成的图像提供了一个额外的创造性控制参数。

4.2 Temporal consistency

图像统计p（lk）可以在连续视频帧之间快速变化。这可能会导致干扰闪烁伪影，见[Eilertsen等人，2013]。在基本细节层分解中，或者如果色调曲线在帧之间快速变化，可能会引入闪烁伪影。

由于空间滤波器（第5节）使用平滑边缘停止功能组合一组低通滤波图像，因此不会随时间引入不一致性。因此，色调曲线是我们的操作符中唯一可以引入时间波动的部分，随着时间的推移，平滑以防止这种行为也很简单。

色调曲线的过滤作用于视觉上最相关的数据，即节点位置vk。通过与技术艺术家的讨论，我们发现过滤器的选择取决于色调映射的意图/艺术目标以及输入数据。我们的实现是灵活的，因为它允许色调曲线滤波器互换。在大多数情况下，我们使用截止频率为0.5 Hz的3抽头低通IIR滤波器。选择该频率是为了最小化可见闪烁，见[Mantiuk等人，2008]。IIR滤波器实现起来很简单，并且比FIR滤波器的滤波器尺寸更小。在某些情况下，我们还使用了一个时间边缘停止滤波器，它可以保持清晰的时间过渡。然而，在使用这些（和其他）过滤器进行实验时，我们没有观察到明显的改善，除非在时间变化极大的情况下。补充材料中详细讨论和说明了时间滤波器的选择及其对像素响应的影响。

应该注意的是，时间滤波可能无法保持对象亮度的一致性[Boitard et al.2012]，一些对象可能会随着时间逐渐改变其亮度。然而，保持亮度将大大降低可实现的图像对比度，并且需要对整个视频序列进行预处理。我们的方法权衡了物体亮度的一致性，以获得更好的对比度再现和实时在线处理。显然，通过使用较低的截止频率，可以增强亮度一致性。我们的色调曲线最小化每帧的对比度失真，而时间滤波器最小化时域中的闪烁失真。时间滤波器可能会从最佳点提取每帧的解决方案，并导致该帧的解决方案稍差，但整个视频剪辑的解决方案更好。尽管可以为整个视频序列找到一系列最佳色调曲线，但这将使该方法不适合实时处理，并且不会带来多少质量改进。

4.3 局部色调曲线

由于视觉系统能够适应局部场景区域，因此能够感知大范围的亮度。这种空间局部适应的确切机制和空间范围尚不清楚，但有充分的证据表明，在进行亮度判断时，可以在整个视野中集中局部和全局信息【Allred等人，2012年】。受视觉系统局部和全局处理的启发，我们计算并应用不同的色调曲线到不同的图像区域。如[Reinhard and Devlin 2005]所示，局部自适应色调曲线可以显著提高图像细节的可见性，而不会引入任何明显的伪影。图5显示了使用全局和局部色调曲线生成的帧。

我们将图像分割成5个可视度的正方形块（从45厘米处看，15英寸全高清显示器约230个像素），这大约是视网膜中央凹的直径。然后，分别计算每个图像块t的重要性值pt（lk）。这种局部亮度重要性统计数据不能直接用于计算局部色调曲线，因为它包含特定子图像块中缺失但存在于图像中的亮度级别的0值。这会产生高度局部适应的色调曲线，这些曲线在整个图像中差异很大，导致色调的可见不连续性。出于这个原因，我们以10%全局和90%局部的比率将整个图像的每子图像块pt（lk）值与全局p（lk）线性混合，然后计算局部色调曲线。要将局部色调曲线应用于图像，色调曲线值在相邻图像块之间插值，以便在单个全局色调曲线的情况下执行3D查找，而不是典型的1D查找。每个局部色调曲线需要使用上一节中介绍的IIR滤波器随时间独立滤波。注意，局部色调曲线的计算开销是最小的，因为最昂贵的操作，即计算每个子图像块的p（lk），总共花费的时间几乎与计算整个图像的p（lk）值相同。

4.4 Comparison with other methods

使用直方图计算色调曲线可能与直方图均衡化类似，直方图均衡化是一种常用的图像增强技术。然而，我们将表明，这两种方法的目标和结果是非常不同的。

如[Mai等人2011]所示，直方图均衡化相当于根据以下公式分配色调曲线斜率：

鉴于此，我们可以比较我们的方法（蓝线，等式14）的斜率分配和图6中的直方图均衡化（红线）。该图显示了色调曲线的斜率是如何根据相应亮度水平（或bin）的概率p（lk）进行分配的。虽然我们的最小对比度失真方法（蓝线）的斜率从未超过1（对应于非失真对比度），但直方图均衡化尝试将最高对比度尽可能分配给高概率p（lk）的分段。在附录B中，我们表明色调曲线斜率与概率值p（lk）呈指数关系，将非常高的斜率分配给具有高概率的箱子。这是直方图均衡化倾向于过度增强均匀像素值区域的原因之一，这导致概率值p（lk）较高。Larson等人【Ward Larson等人，1997】通过将最大概率p（lk）钳制为阈值与强度函数确定的值来解决这个问题。然而，这是一种特殊的方法，不能确保对比度失真最小。

我们的公式也类似于为向后兼容HDR图像和视频编码而导出的最佳色调曲线[Mai等人，2011]，如图6中的虚线所示。这种方法与直方图均衡相比，对比度增强的攻击性更小，但仍将增强对比度而不是保留对比度，因为这会在LDR层的逆色调映射后降低编码错误。

5 Filter design for tone mapping

基本层和细节层分解（图2中的b和d）是色调映射中保持局部对比度的常用技术。使用边缘保持低通滤波器获得的基本层b使用色调曲线进行压缩，细节层d被保留甚至增强。

分解过程中最重要的方面是滤波方法的选择。以前的TMO（参见[Eilertsen et al.2013]了解概述）大多依赖于设计用于降噪等目的的经典图像滤波器。基本-细节层分解的常见选择是双边滤波器[Aurich和Weule 1995；Tomasi和Manduchi，1998），主要是因为其简单性。然而，一个问题是，在经典图像过滤器的意图和我们这里的目标——细节提取之间存在着根本性的差异。首先，图像细节是在比噪声更大的空间尺度上发现的，即细节提取滤波器需要在空间域和强度域中提供较大的支持，而不会引入可见的伪影。其次，这里的最终结果是基础层b和细节层d，而不是经过过滤的图像。细节层对过滤瑕疵非常敏感，沿边缘的行为非常关键。即使是很小的伪影（在普通的图像过滤中可能是看不见的）在色调映射后也可能会在视觉上造成干扰，尤其是对于视频。

在附录C中，我们说明了双边滤波器无法正确重建平滑边缘的底层信号（底层）的原因，以及这对细节层分离的影响。我们在TMO的滤波器构造中使用了这些观察结果，其中我们首先将双边滤波器与各向异性扩散联系起来[Perona和Malik 1990]，并从中衍生出一个专门为基础-细节层分解设计的高效滤波器。

5.1 Filter construction

用于图像滤波的扩散操作作为传导过程来执行，其中像素值I（p）根据扩散PDE随时间t传播到它们的邻居：

如果wr（p，t）=c是常数，这将简化为各向同性热扩散方程∂I/∂t=c∆I。在非线性扩散中，通过使用图像梯度大小作为停止准则（wr），将扩散约束到均匀的图像区域来保持边缘ω_r (‖∇I( p)‖)。在图像滤波中，这是通过离散时域，并通过在自适应平滑过程中迭代计算每个像素p处的流入量V来近似的。对于迭代k+1，这可以描述为：

为了保持高对比度结构，权重基于空间域和强度域中的距离。与此相反，双边滤波器在单个迭代中运行，使用较大的邻域作为加权平均值。如[Durand and Dorsey 2002]所述，0阶各向异性扩散可以通过更大的空间支撑进行扩展，以允许连接到双边滤波器：

这里，α是扩散速率，对于双边滤波器，它可以解释为归一化α=1/P wswr。使用不同的邻域Ω、空间权重ws和强度权重wr，可以描述一系列不同的滤波器。对于各向异性扩散和双边滤波器，这些函数如表1所示。为了保持低复杂性并避免伪影，我们采用各向同性方法：

其中∇I（p）是像素位置p处的图像梯度。通过迭代应用线性滤波器，可以非常快速地评估该滤波器，线性滤波器使用每像素边缘停止函数wr进行加权。由于各向同性核的样本均匀分布在p附近，因此它可以产生无偏结果，而不会出现过度锐化问题。为了保留边缘，内核大小适应图像结构，这意味着沿陡峭（高梯度）边缘使用较少的样本数。然而，由于空间过滤的目的是基础-细节分离，因此让细节沿边缘不太明显比冒伪影风险更安全（见图9）。此外，由于边缘本身在感知上占主导地位，我们认为，与不正确和/或时间上不相干的边缘相比，纹理细节的可能损失显著减少了干扰。

沿边缘的滤波器行为由边缘停止函数和梯度估计的计算方式决定。我们观察到，各向同性核本质上需要一个保守的停止函数，以便在靠近边缘而不是穿过边缘的位置传播流。为了实现这一点，我们使用Tukey的双权重[Black et al.1998]，见表1，它保守地阻止梯度量级等于或大于λ的扩散。此外，我们使用稳健的梯度公式，表示为像素p=（x，y）周围局部邻域p上的线性斜坡，如下所示：

其中⌈·⌉ 表示向上取整操作。使用此公式时，与使用高斯差（DoG）相比，扩散在边缘停止得更快。当等式26与等式27组合时，当像素比邻域半径更接近高对比度边缘时，流完全停止。为了在确保快速扩散的同时实现靠近边缘的过滤，我们迭代地更改Ω的大小，从一个非常小的内核开始，并随着扩散的进行增加其半径。Ω的大小会发生变化，因此N次迭代后过滤器的净大小为N σ，其中σ是内核的起始大小。也就是说，
。最后，我们使用到原始图像的距离来约束扩散，以防止重建过程中出现可能的极值（参见算法1中的第7行）。

表1给出了滤波器设计的最终公式，并在算法1中进行了概述。可在补充材料中找到收敛分析，包括设置迭代次数N的动机。对于本文中的所有示例，我们使用了N=12次迭代。

5.2 Comparison with other methods

为了显示不同低通边缘停止滤波器的行为，并将其与我们的快速细节提取扩散滤波器相关联，我们首先使用图8中的一维信号来说明这一点。输入（参见8a）是一个信号（蓝色），使用噪声函数添加细节（绿色）。我们将我们的局部细节提取扩散与经典的双边滤波器（BF）和各向异性扩散（AD）、三边滤波器（TF）[Choudhury and Tumblin 2003]以及当前最先进的快速局部拉普拉斯滤波器（FLL）[Aubry et al.2014]。在左边的阶跃边缘，分段常数假设成立，0阶滤波器显示没有问题。然而，对于右侧的平滑边，BF显示带状，AD容易出现阶梯伪影。TF、FLL和我们的方法不会生成可见的伪影。然而，与我们的方法相比，TF和FLL在计算上都很昂贵。另一个重要区别是，我们的滤波器专门设计用于色调映射的细节提取，而不引入伪影，而例如FLL显示出在平滑强度过渡时创建假边的趋势。

最后，在图9中，我们在局部色调映射的上下文中评估了我们的过滤器设计。第4节中描述的色调曲线已应用于过滤后的图像，然后添加回提取的细节，缩放以便于打印时比较。显示快速局部拉普拉斯滤波器（FLL）以证明我们的方法与当前最先进的滤波之间的差异。此外，[Aydin et al.2014]引入的用于细节提取的渗透性过滤器（PF）如图所示。该过滤器适用于小到中等的细节增强，但对于更强的操作，伪影清晰可见。从示例中可以明显看出，最好限制边缘周围的过滤，而不是冒着经典0阶过滤器（BF和AD）显示的伪影的风险。与FLL和PF相比，我们的快速细节提取扩散可能会沿某些边缘丢失少量细节。然而，在色调映射的情况下，这是首选行为，因为它确保了稳健的细节增强，而其他过滤器可能会在平滑图像过渡时引入人工边缘（振铃伪影）和时间不一致性（参见图9中衬衫和手指上的边缘）。

为了说明滤波器的性能，图9中还显示了处理时间。这些时间与我们的方法以及Matlab实现的所有报告计时有关（双边网格加速方案用于BF[Chen等人，2007]）。这可以作为非并行代码性能的简单指标，以反映评估的复杂性。然而，应该注意的是，不同的方法具有不同的并行化潜力，例如，我们的细节提取扩散是专门为此目的设计的，并且在GPU上显示了大约2个数量级的性能提升。

6 Noise-aware local contrast control

使用局部色调曲线对基础层进行色调映射后，可以将其与细节层重新组合。如果细节层保持不变，色调映射将保持局部对比度。如果细节层值被放大，则图像细节会增强，与高质量的边缘停止空间滤波器结合使用时，可以产生有吸引力的外观。然而，增强图像细节会带来放大噪声的风险。噪声感知色调曲线（第4.1节）可以在较暗的色调中隐藏一些噪声，特别是传感器读出噪声，但在较亮的图像部分隐藏噪声时并不有效。因此，我们的细节层d相对于显示图像中噪声的可见性进行调制：

其中 V() 是等式3中的可见性阈值，n() 是对数亮度域中的噪声级（等式2）。注意，可见度是根据色调曲线btm产生的显示对数亮度来评估的，而噪声则取决于输入图像的对数亮度。e是可选的局部对比度增强参数，可增强细节，从而实现创造性控制。当噪声振幅高于检测阈值时，方程中的“min”项有效地降低对比度，这与图3中噪声振幅的品红色线高于可见度阈值的情况相对应，如蓝色线所示。

7 Results and applications

在本节中，我们将从视觉质量、性能和功能方面概述色调映射操作符。我们还讨论了我们算法的具体功能，包括噪声感知、适应显示和观看条件以及细节增强，并演示了我们的TMO如何应用于一组常见的成像应用。补充视频和文件中还包括更多结果。

7.1 Results and evaluation

为了评估我们的方法在视觉质量方面的性能，我们进行了主观评估，作为定性分析实验。实验将我们的TMO与六种最先进的视频色调映射方法进行了比较；两个全局操作符：失调TMO【Irawan et al.2005】和显示自适应TMO【Mantiuk et al.2008】，以及四个局部操作符：虚拟曝光TMO【Bennett和McMillan 2005】、时间相干TMO【Boitard et al.2012】、分区时间相干TMO【Boitard et al.2014】和运动路径过滤TMO【Aydin et al.2014】。这项评估是作为一项评级实验进行的，其中有10名图像处理经验的用户以随机顺序观看了一组视频剪辑。这些数据取自[Froehlich et al.2014]，并用七个操作符映射每个音调。用户被要求根据以下属性为每个剪辑提供评级：整体亮度、整体对比度、整体颜色饱和度、时间颜色一致性、时间闪烁、重影、过度噪声以及细节再现，以评估局部水平的对比度。图10显示了不同序列的评分最终结果（在观察者中取平均值）。总的来说，很明显，所提出的噪声感知TMO始终产生的结果显示图像特征在大约正确的水平上，没有可见的伪影。补充材料中详细描述了完整的实验和数据分析。

图11显示了我们的算法与来自用户评估的两个最先进TMO之间的视觉比较的代表性示例。该图将我们的方法与[Eilertsen et al.2013]、display adaptive TMO[Mantiuk et al.2008]和概念上与我们的方法最相似的TMO（虚拟曝光TMO）[Bennett and McMillan 2005]中的评估结果进行了比较。放大率分别显示了低亮度区域和高亮度区域的色调映射示例。**依赖于全局处理的显示自适应TMO在压缩场景中的大动态范围方面存在问题，从而导致明亮的结果以及局部细节和对比度的损失。**虚拟曝光TMO依赖于双边滤波，在某些情况下，双边滤波会导致沿边缘的振铃伪影。随着时间的推移，调整色调曲线也存在问题，从而导致干扰时间闪烁（见图10）。与这些TMO相比，我们的方法能够很好地处理场景中的动态范围，并在没有任何伪影的情况下保留局部细节和对比度。

图12显示了[Aydin等人2014]使用不同色调曲线得出的方法结果。在12a和12b中，色调曲线与原始文章中使用的相同（即[Drago et al.2003]中的对数缩放和对数映射），在12c中，我们使用第4节中所述的局部色调曲线。尽管Aydin et al.采用的整体滤波在可见伪影方面表现出良好的性能（见图10），不考虑实际的色调再现和色调曲线的时间处理。从图中可以清楚地看出，我们在保持局部对比度的同时实现了更好的动态范围压缩。此外，所使用的光流滤波在复杂的图像转换中可能无法很好地工作（如图10中史密斯锤击序列中的噪声级）。最后，由于滤波过程，该方法计算量大，不适合实时应用。

7.2 Performance

我们算法中的所有步骤都可以并行计算，适合于GPU实现。空间滤波采用可分离的低通滤波器以及水平和垂直梯度滤波器构成。这意味着我们只需要在扩散过程的每次迭代中运行四个1D过滤器内核。局部直方图计算和色调曲线的时间滤波非常并行。TMO的所有部分都使用CUDA 6.5实现。借助现代图形卡，整个TMO管道在全高清材料上实时运行。表2显示了我们的算法在GeForce GTX 980上使用720p和1080p高清输入时的性能。

7.3 Applications and features

在本节中，我们将演示算法的一些功能，并回顾视频色调映射解决方案的一组应用场景，并演示示例结果。

视频后处理 当视频需要颜色分级时，我们的方法提供了高质量的自动调整和一系列创造性的风格化对比度控制。特别吸引人的是我们的细节增强，它可以保持或显著增加细节可见性，而不会出现明显的瑕疵（图13顶部）。这如图13左上角和中上角所示，其中全局色调映射的结果与细节层以原始对比度保留的图像进行比较。色调优先级调整允许在较暗和较亮色调之间转移焦点，同时最大限度地减少失真，如剪辑，而无需复杂地控制色调曲线的确切形状（图13底部）。由于该操作可以以实时帧速率运行，因此在调整特定参数时会以全分辨率提供视觉反馈。由于我们专注于对比度而不解决颜色问题，因此我们的方法可以与现有解决方案相结合，以解决颜色分级的所有方面。

在相机处理堆栈中，传感器捕获的图像需要经过一系列操作，如去马赛克、去噪和锐化，然后才能显示在数字取景器上或存储为（JPEG）图像或（MPEG）电影。该链中的一个关键操作是色调映射，其中传感器的较大动态范围映射到显示器或输出图像文件格式支持的较小动态范围。我们的解决方案非常适合这一目的，因为它提供了自动色调映射和细节增强，可适应相机噪声水平。图1和图14显示了我们的色调映射结果，有无噪声感知处理。为了降低噪声可见性，在有噪声的图像区域减少增强，并且大多数传感器读出噪声隐藏在较暗的图像色调中。但是，如果需要预览噪声级，例如在数字取景器中，可以禁用噪声感知处理，如图1和14左上角所示。为了强调噪声感知色调再现实际上并不与去噪竞争，图14还显示了应用最先进的去噪方法的结果（V-BM4D，[Maggioni et al.2012]）。在色调映射之前，在对数域中执行去噪步骤。如果没有噪声感知功能，则去噪产生的伪影清晰可见，而在补充这两种方法时，这些伪影隐藏在图像的较暗色调中。

用于环境光补偿的显示算法 显示器的有效对比度在很大程度上取决于环境光级别。当移动设备在阳光下使用时，由于屏幕反射的光线降低了对比度，发射显示器（LCD、OLED）很难辨认。通常的补救办法是增加屏幕亮度，但这会大大增加功耗。另一种方法是对显示器上显示的内容进行色调映射，以适应特定观看条件下的有效图像对比度。这如图15所示，其中顶行显示非自适应图像，底行显示自适应图像。在后一种情况下，内容更明显，整体质量更好。与[Mantiuk et al.2008]（中行）中提出的显示自适应色调映射相比，我们的方法由于其局部处理而获得更好的对比度和细节可见性。

8 Conclusion

本文描述了一种新的视频色调映射解决方案，它结合了一组新的方法和现有方法所没有的特性。我们的主要贡献之一是一种计算色调曲线的新技术，它可以最大限度地减少对比度失真。我们证明了计算这种色调曲线的快速公式可以从优化问题中导出，而不需要数值求解二次规划。与现有的特别方法（如直方图均衡化）相比，该公式解决了一个定义良好的最小化问题。局部色调曲线动态地适应图像内容、噪声水平和显示能力，包括对环境光的补偿。第二个主要贡献是一种新颖的边缘停止滤波器，它被明确设计用于在色调映射中保持和增强细节。它避免了软边上的过冲和振铃伪影，这是色调映射中使用的大多数过滤器的常见问题，特别是在需要细节增强时。由于滤波器可以实现为迭代高斯模糊，因此可以实现高效的硬件实现。最后，我们将这两项技术成果结合在一个全面的视频色调映射操作符中，该操作符控制噪声的可见性并适应显示器和环境光。

我们的方法仅限于色调映射的两个特定目的：场景再现和最佳主观质量。该方法不试图模拟视觉系统，例如通过添加眩光效果或模拟夜视。我们也不解决由色调映射引起的任何复杂颜色问题，而是依赖现有的解决方案。通过先进的去噪方法或分析电影序列的整个长度，可以实现更高质量的色调映射。然而，这将消除我们方法的一个主要优点，即实时处理。

虽然色调映射通常被视为一个高动态范围的问题，但在实践中它有更广泛的应用领域。当在高环境光照下看到显示器且其有效对比度降低时，即使低动态范围内容也可能受益于色调映射。一些移动设备已经采用了这种补偿算法。许多相机传感器捕捉的物理对比度比显示器（或数字取景器）能够再现的高。因此，色调映射在任何相机内处理堆栈中都是必不可少的组件，即使捕捉到单次曝光（LDR）。最后，必须认识到，在许多应用中，图像需要根据艺术家的愿望进行复制。在此类应用中使用的色调映射操作符需要提供创造性的控制参数，这些参数易于操作，并且可以通过实时视觉反馈进行探索。我们认为，拟议的解决方案是第一个满足所有这些要求的解决方案。

Acknowledgments

我们要感谢参与实验的志愿者。我们还感谢Jan Fr–ohlich等人在本文中使用的HDR视频序列(https://hdr-2014. hdm stuttgart.de）和Ronan Boitard，用于实施评估中使用的时间一致性TMO。

这个项目是由瑞典战略研究基金会（SSF）资助的，由格兰特IIS11-081A、Link Enth-Poor大学工业信息技术中心（CENIIT）、瑞典研究理事会通过林纳斯环境CADIC，并通过成本行动IC1005。

附录A：色调曲线斜率的推导

本附录显示了如何使用KTT方法从方程13中分析找到最佳斜率（方程14）。现在我们只考虑第二约束的等式条件（等式12）。使用此约束最小化ε′(sk)相当于最小化函数：

其中λ是拉格朗日乘数。通过求解方程组，该函数最小化：

我们可以通过组合除最后一个方程外的任意两个方程来消除λ变量，从而得到：

将上述方程引入方程30的最后一行后，我们得到方程14中给出的解。

附录B：直方图均衡化斜率

这里我们表明，通过颠倒我们在第4节中推导斜率分配公式的步骤，我们可以找到直方图均衡化的假设目标函数，即：

受与等式12相同的约束，不同之处在于函数最大化而非最小化。上述方程的解产生了方程22给出的斜率。该公式并不理想，因为在sk=0处存在奇点，需要作为特殊条件处理，为了清楚起见，我们在此省略。目标函数显示直方图均衡化程序根据每个单元k的概率分布斜率的对数。这意味着音调曲线斜率与概率值p（lk）呈指数关系。这种关系通常导致将非常高的斜率分配给具有高概率的箱子，这在大多数色调映射应用中是不可取的。

附录C：细节提取工件的分析

许多双层滤波器扩展和加速方案，如[Durand和Dorsey 2002；陈等，2007；亚当斯等人，2009年；亚当斯等人，2010年；Baek和Jacobs 2010；Yoshizawa等人，2010年；Banterle等人，2012年；Yang 2012]，使实时处理完全成为可能。然而，假设分段恒定基本信号的滤波器，如双边和各向异性扩散[Perona和Malik 1990]，无法正确重建自然图像中复杂的空间强度转换[Takeda等人，2007b]。这种效果如图16所示，其中滤波器内核偏向平滑边缘的一侧（自然图像中的边缘由于传感器像素处的区域采样而受到带宽限制）。在重建中，这种偏差和分段恒定信号的假设会导致过度锐化。在许多应用中，所产生的重建伪影在视觉上是不重要的。然而，对于细节提取任务，这种过度锐化会导致不可忽略的带状或振铃效应（例如，见图8b和9a），尤其是在细节艺术性增强的情况下。

缓解这些问题的一种方法是使用高阶近似（例如三边滤波器、核回归或局部多项式近似）重建底层[Takeda et al.2007a；Katkovnik等人，2006年；米兰法尔2013]。然而，这是以显著增加的复杂性为代价的，这使得实时评估高分辨率画面变得困难，在大多数情况下甚至不可能。这些高阶滤波器往往对参数设置敏感。

另一种常见的边缘保持滤波方法是基于扩散的算法。Perona和Malik[1990]引入了各向异性非线性扩散，并与双边滤波有许多相似之处。各向异性扩散和双边滤波的具体统一公式也已在[Barash 2002]和[Durand和Dorsey 2002]中给出。由于该过滤器还依赖于分段常数假设，因此输出容易沿边缘显示不一致的行为，类似于双边过滤器（见图9b）。