在本教程中，我们将学习使用OpenCV的Exposure Fusion。我们将使用C ++和Python共享代码。

什么是曝光融合？曝光融合是一种将使用不同曝光设置拍摄的图像组合成一个看起来像色调映射的高动态范围(HDR)图像的方法。

如果您不了解HDR成像或想了解更多，请查看我们有关

当我们使用相机拍摄照片时，每个颜色通道只有8位来表示场景的亮度。但是，理论上，我们周围世界的亮度可以从0(黑色)变化到几乎无限(直视太阳)。因此，傻瓜相机或移动相机会根据场景决定曝光设置，以便使用相机的动态范围(0-255值)来表示图像中最有趣的部分。例如，在许多相机中，人脸检测用于查找人脸，并设置了曝光度，以使人脸看起来明亮。

这就引出了一个问题-我们可以在不同的曝光设置下拍摄多张照片，并捕获更大范围的场景亮度吗？答案是肯定的！使用

HDR成像要求我们知道精确的曝光时间。HDR图像本身看起来很暗，看起来也不漂亮。HDR图像中的最小强度为0，但理论上没有最大值。因此，我们需要将其值映射在0到255之间，以便我们可以显示它。将HDR图像映射到常规的每通道8位彩色图像的过程称为“色调映射”。

如您所见，组装HDR图像然后进行色调映射是一件麻烦的事。我们不能只使用多个图像并创建一个色调映射图像，而无需去HDR。事实证明，我们可以使用Exposure Fusion做到这一点。Download Guide​bigvisionllc.leadpages.net

曝光融合如何工作？

下面介绍了应用曝光融合的步骤

步骤1：以不同的曝光度拍摄多张图像

首先，我们需要在不移动相机的情况下捕获同一场景的一系列图像。如上所示，序列中的图像具有变化的曝光。这是通过更改相机的快门速度来实现的。通常，我们会选择曝光不足的图像，曝光过度的图像以及正确曝光的图像。

在“正确”曝光的图像中，选择快门速度(由相机或由摄影师自动选择)，以便使用每通道8位动态范围表示图像中最有趣的部分。太暗的区域将被裁剪为0，太亮的区域将被饱和为255。

在曝光不足的图像中，快门速度较快，图像较暗。因此，图像的8位用于捕获亮区域，而暗区域被裁剪为0。

在曝光过度的图像中，快门速度很慢，因此传感器会捕获更多的光，因此图像明亮。传感器的8位用于捕获暗区的强度，而亮区饱和到255。

大多数单反相机具有一项称为自动包围曝光(AEB)的功能，该功能使我们只需按一下按钮就可以在不同的曝光下拍摄多张照片。如果您使用的是iPhone，则可以使用此

捕获这些图像后，我们可以使用下面的代码读取它们。

C++

void readImages(vector &images)

{

int numImages = 16;

static const char* filenames[] =

{

"images/memorial0061.jpg",

"images/memorial0062.jpg",

"images/memorial0063.jpg",

"images/memorial0064.jpg",

"images/memorial0065.jpg",

"images/memorial0066.jpg",

"images/memorial0067.jpg",

"images/memorial0068.jpg",

"images/memorial0069.jpg",

"images/memorial0070.jpg",

"images/memorial0071.jpg",

"images/memorial0072.jpg",

"images/memorial0073.jpg",

"images/memorial0074.jpg",

"images/memorial0075.jpg",

"images/memorial0076.jpg"

};

for(int i=0; i < numImages; i++)

{

Mat im = imread(filenames[i]);

images.push_back(im);

}

}

Python

def readImagesAndTimes():

filenames = [

"images/memorial0061.jpg",

"images/memorial0062.jpg",

"images/memorial0063.jpg",

"images/memorial0064.jpg",

"images/memorial0065.jpg",

"images/memorial0066.jpg",

"images/memorial0067.jpg",

"images/memorial0068.jpg",

"images/memorial0069.jpg",

"images/memorial0070.jpg",

"images/memorial0071.jpg",

"images/memorial0072.jpg",

"images/memorial0073.jpg",

"images/memorial0074.jpg",

"images/memorial0075.jpg",

"images/memorial0076.jpg"

]

images = []

for filename in filenames:

im = cv2.imread(filename)

images.append(im)

return images

步骤2：对齐图片

即使使用三脚架获取了序列中的图像，也需要对齐，因为即使轻微的相机晃动也会降低最终图像的质量。OpenCV提供了一种使用对齐这些图像的简便方法AlignMTB。该算法将所有图像转换为中值阈值位图(MTB)。通过将值1分配给比中值亮度更亮的像素，将值赋给0，否则为0来计算图像的MTB。MTB 不会改变曝光时间。因此，无需我们指定曝光时间即可对准MTB。

使用以下代码行执行基于MTB的对齐。

C++

// Align input imagesPtr alignMTB = createAlignMTB();

alignMTB->process(images, images);

Python

# Align input images

alignMTB = cv2.createAlignMTB()

alignMTB.process(images, images)

合并图像

具有不同曝光量的图像会捕获不同范围的场景亮度。根据Tom Mertens，Jan Kautz和Frank Van Reeth 题为“曝光融合通过仅在多重曝光图像序列中保留“最佳”部分来计算所需图像。

作者提出了三种质量衡量标准曝光良好：如果序列中图像中的像素接近零或接近255，则不应使用该图像来查找最终像素值。值接近中间强度(128)的像素是优选的。

对比度：高对比度通常表示高质量。因此，对特定像素的对比度值较高的图像，将赋予该像素较高的权重。

饱和度：类似地，更多的饱和度颜色较少被冲洗掉，代表更高质量的像素。因此，对特定像素的饱和度较高的图像赋予该像素较高的权重。

使用这三个质量度量来创建权重图

，该权重图表示

图像在位置的像素最终强度中的贡献

。对权重图

进行归一化，以便对于任何像素

，所有图像的贡献总计为1。

使用权重图使用以下公式组合图像很诱人

其中，

是原始图像，

是输出图像。问题在于，由于像素是从不同曝光量的图像中

获取的，因此使用上述公式获得的输出图像将显示很多接缝。该论文的作者使用拉普拉斯金字塔混合图像。我们将在以后的文章中详细介绍这种技术。您还可能有兴趣在检查出的所谓影像拼接技术

幸运的是，使用OpenCV，此合并仅是使用MergeMertens该类的两行代码。请注意，该名称以

C++

Mat exposureFusion;

Ptr mergeMertens = createMergeMertens();

mergeMertens->process(images, exposureFusion);

Python

mergeMertens = cv2.createMergeMertens()

exposureFusion = mergeMertens.process(images)

结果

结果之一在本文中被分享为特征图片。请注意，在输入图像中，我们获得了曝光过度图像中光线昏暗区域和曝光不足图像中光线明亮区域中的细节。但是，在合并的输出图像中，所有像素在图像的每个部分都被很好地照亮了。

我们还可以在之前的文章中看到这种效果对用于

曝光融合与HDR

如您在本文中所见，Exposure Fusion使我们无需显式计算HDR图像即可获得类似于HDR +色调映射的效果。因此，我们不需要知道每个图像的曝光时间，但是我们可以获得非常合理的结果。

那么，为什么还要烦恼HDR？好吧，在许多情况下，Exposure Fusion产生的输出可能并不符合您的喜好。没有旋钮可以调整以使其与众不同或更好。另一方面，HDR图像捕获场景的原始亮度。如果您不喜欢色调映射的HDR图像，请尝试使用其他色调映射算法。

总之，Exposure Fusion代表了一种权衡。我们在权衡灵活性的同时，还追求速度和不严格的要求(例如，不需要曝光时间)。

作者介绍：

萨蒂亚·马利克(SATYA MALLICK)我是一位热爱计算机视觉和机器学习的企业家。我在该领域有十几年的经验(和博士学位)。我是TAAZ Inc的共同创始人，在这里，我们的计算机视觉和机器学习算法的可伸缩性，鲁棒性已受到超过1亿尝试过我们产品的用户的严格测试。

参考资料