OpenCV55:高动态范围成像|High Dynamic Range (HDR)

目标

在本章中，将学习

了解如何根据曝光顺序生成和显示HDR图像
使用曝光融合来合并曝光序列

理论

高动态范围成像（High-dynamic-range imaging，HDRI或HDR）是一种用于成像和摄影的技术，可以比标准数字成像或摄影技术重现更大的动态亮度范围。虽然人眼可以适应各种光照条件，但是大多数成像设备每通道使用8位，因此仅限于256级。当拍摄现实世界的照片时，明亮的区域可能会曝光过度，而黑暗的区域可能会曝光不足，因此无法一次曝光获取到所有细节。HDR成像适用于每个通道使用8位以上（通常为32位浮点值）的图像，从而允许更大的动态范围。

获取HDR图像的方法有多种，但是最常见的一种方法是使用以不同曝光值拍摄的场景照片。要综合这些曝光，了解相机的响应功能以及估算算法的功能是非常有用的。合并HDR图像后，必须将其转

换回8位才能在常规显示器上查看。此过程称为色调映射（tonemapping）。当场景或摄像机的对象在两次拍摄之间移动时会增加其他复杂性，因为应记录并调整具有不同曝光度的图像。

在本教程中，将展示两种算法（Debevec，Robertson），根据曝光序列生成和显示HDR图像，并演示了另一种曝光融合（Mertens）的方法，**该方法可以生成低动态范围图像，并且不需要曝光时间数据。**此外，估计相机响应函数（camera response function，CRF）对于许多计算机视觉算法都具有重要价值。HDR流水线的每个步骤都可以使用不同的算法和参数来实现，具体可以参考一些其它资料。

曝光序列HDR

在本教程中，将查看以下场景，其中有4张曝光图像，曝光时间分别为15、2.5、1/4和1/30秒（可以从Wikipedia下载图像）

1 将曝光图像加载到列表中

第一阶段只是将所有图像加载到列表中。此外需要常规HDR算法的曝光时间。要注意数据类型，因为图像应该是1通道或3通道8-bit（np.uint8），曝光时间的类型是float32

import cv2
import numpy as np# load exposure images into a list
img_fn = ["img0.JPG", "img1.JPG", "img2.JPG", "img3.JPG"]
img_list = [cv2.imread(fn) for fn in img_fn]
exposure_times = np.array([15.0, 2.5, 0.25, 0.0333], dtype=np.float32)

2 将曝光合成HDR图像

在此阶段，将曝光序列合并为一张HDR图像。OpenCV中有两种可能性。

第一种方法是Debevec
第二种方法是Robertson

注意，HDR图像的类型为float32，而不是uint8，因为它包含所有曝光图像的完整动态范围。

# merge exposures to HDR image
merge_debevec = cv2.createMergeDebevec()
hdr_debevec = merge_debevec.process(img_list, times=exposure_times.copy())
merge_robertson = cv2.createMergeRobertson()hdr_robertson = merge_robertson.process(img_list, times=exposure_times.copy())

3 色调映射HDR图像

将32位浮点HDR数据映射到[0…1]范围内。实际上，在某些情况下，该值可以大于1或小于0，稍后需要剪辑数据以避免溢出。

# Tonemap HDR image
tonemap1 = cv2.createTonemap(gamma=2.2)
res_debevec = tonemap1.process(hdr_debevec)res_robertson = tonemap1.process(hdr_robertson)

4 使用Mertens融合曝光

在这里展示一种替代算法，用于合并曝光图像，而且不需要曝光时间，也不需要使用任何色调映射算法，因为Mertens算法已经为我们提供了[0…1]范围内的结果。

# Exposure fusion using mertens
merge_mertens = cv2.createMergeMertens()
res_mertens = merge_mertens.process(img_list)

5 转为8-bit并保存

为了保存或显示结果，需要将数据转换为[0…255]范围内的8位整数。

# convert datatype to 8-bit and save
res_debevec_8bit = np.clip(res_debevec*255, 0, 255).astype('uint8')
res_robertson_8bit = np.clip(res_robertson*255, 0, 255).astype('uint8')
res_mertens_8bit = np.clip(res_mertens*255, 0, 255).astype('uint8')cv2.imwrite("ldr_debevec.jpg", res_debevec_8bit)
cv2.imwrite("ldr_robertson.jpg", res_robertson_8bit)
cv2.imwrite("ldr_mertens.jpg", res_mertens_8bit)plt.subplot(131)
plt.imshow(res_debevec_8bit)plt.subplot(132)
plt.imshow(res_robertson_8bit)plt.subplot(133)
plt.imshow(res_mertens_8bit)plt.show()

结果

不同的方法可以得到不同的结果，但是也要考虑到每种算法都有其他额外的参数，应该将它们附加以达到期望的结果。最佳的实践就是尝试不同的方法，然后看看哪种方法最适合自己的场景

Debevec
Robertson
Mertenes Fusion

估计相机响应函数

摄像机响应函数（CRF）使得我们可以将场景辐射度与测量强度值联系起来。CRF在某些计算机视觉算法（包括HDR算法）中非常重要。在这里，估计逆相机响应函数并将其用于HDR并。

# Estimate camera response function (CRF)
cal_debevec = cv2.createCalibrateDebevec()
crf_debevec = cal_debevec.process(img_list, times=exposure_times)
hdr_debevec = merge_debevec.process(img_list, times=exposure_times.copy(), response=crf_debevec.copy())
cal_robertson = cv2.createCalibrateRobertson()
crf_robertson = cal_robertson.process(img_list, times=exposure_times)
hdr_robertson = merge_robertson.process(img_list, times=exposure_times.copy(), response=crf_robertson.copy())x = np.arange(256)plt.subplot(121)
plt.plot(x, crf_debevec[:, 0, 0], c='r', marker='o')
plt.plot(x, crf_debevec[:, 0, 1], c='g', marker='o')
plt.plot(x, crf_debevec[:, 0, 2], c='b', marker='o')
plt.xplt.subplot(122)
plt.plot(x, crf_robertson[:, 0, 0], c='r', marker='o')
plt.plot(x, crf_robertson[:, 0, 1], c='g', marker='o')
plt.plot(x, crf_robertson[:, 0, 2], c='b', marker='o')
plt.show()

相机响应函数由每个颜色通道的256长度向量表示。对于此序列，得到以下估计：

附加资源

https://docs.opencv.org/4.5.5/d2/df0/tutorial_py_hdr.html
Paul E Debevec and Jitendra Malik. Recovering high dynamic range radiance maps from photographs. In ACM SIGGRAPH 2008 classes, page 31. ACM, 2008
Mark A Robertson, Sean Borman, and Robert L Stevenson. Dynamic range improvement through multiple exposures. In Image Processing, 1999. ICIP 99. Proceedings. 1999 International Conference on, volume 3, pages 159–163. IEEE, 1999.
Tom Mertens, Jan Kautz, and Frank Van Reeth. Exposure fusion. In Computer Graphics and Applications, 2007. PG’07. 15th Pacific Conference on, pages 382–390. IEEE, 2007
Images from Wikipedia-HDR