基于transformer的多曝光融合框架TransMEF

传统多曝光融合

多曝光图像融合(MEF)技术通过将不同曝光的地动态范围LDR图像融合到单个高动态范围HDR图像中

基于空间域的融合方法

空间域方法直接从源图像的像素值计算融合图像的像素价值
常用方法：
基于像素的方法
基于补丁的方法
基于优化的方法

基于变换域的融合方法

在基于变换域的融合算法中，源图像首先转换到特定的变换域（如小波域）以获得不同的频率组件，然后使用适当的融合规则融合不同频率组件。最后，对融合后的频率分量进行逆变换，得到融合图像。
常用变换方法：
拉普拉斯金字塔
小波变换
金字塔变换
边缘保持平衡

基于深度学习的框架

在基于深度学习的算法中，两个源图像不同曝光量直接输入融合网络，网络输出融合图像通过在大型自然图像数据集上重建图像来训练网络

虽然目前的融合方法(有监督、无监督)可以进行多曝光融合，但是都需要大量多曝光的图片进行训练:但是收集了各种多重暴露数据集数量无法与大型自然图像数据集相比，导致数据不足
现有的其于深度学习的MEE方法利用卷和袖经网络(CNN)特征提取，但由于CNN的感受野较小，很难对长距离依赖进行建模------>TransMEF基于变压器的多曝光图像融合框架使用自我监督的多任务学习

TransMEF基于Transformer的多曝光图像融合

基于深度学习的MEF算法
在融合阶段，我们使用经过训练的编码器从一对源图像中提取特征地图
然后将两个特征地图融合并输入到解码器中，生成融合图像

训练流程图

训练流程

一个原图像变成三个被破坏了的图像(基于Gamma变换Fg 基于Fourier变换的Tf、基于global region shuffling变幻的Ts)输入到编码器中；

编码器由一个特征提取模块TransBlock和一个特征增强模块EnhanceBlock组成。TransBlock使用CNN模块和变压器模块进行特征提取；EnhanceBlock聚合并增强了从CNN模块和变压器模块提取的特征地图，以便编码器能够更好地集成全局和局部特征；
被破坏了的图片直接进入CNN-Module，同时，它们被分为多个补丁，讲这些补丁再输入到TransBlock。

补丁用于构造序列，序列进入变压器，从嵌入线性投影E开始编码序列特征为z0∈ 得到RM×D。然后，z0穿过L层变压器层每层的输出表示为zl（l=1…l）。

编码器获得的特征，解码器再重构

融合流程

单通道灰度图像融合

源图像I1、I2进过编码器得到各自特征图序列Fi(三组)，进行融合得到F’序列，最后在解码器中重建融合图像

Transformer

transformer层的架构：

它包括一个多头部注意机制（MSA）块和多层感知器（MLP）块，其中在每个块和在每个块后应用剩余连接，MLP块由具有GELU激活功能的两个线性层组成。

损失函数

为了实现多任务学习同时执行三个自监督重建任务
损失函数如下：
Loss = LossTaskG + LossTaskF + LossTaskS
每一个任务的损失函数包括三部分
L=Lmse+λ1Lssim+λ2LTV

其中Lmse是均方误差（MSE）损失函数，
Lssim是结构相似性（SSIM）损失函数,
LTV是总变化损失函数。λ1和λ2是两个根据经验设置为20的超参数。

核心问题

三个自监督重建任务

基于Gamma的变换—学习场景内容和亮度信息

曝光过度的图像在黑暗区域包含足够的内容和结构信息，而曝光不足的图像在明亮区域包含足够的颜色和结构信息。
利用Gamma去改变选择子区域的亮度

基于傅里叶的变换—学习纹理和细节信息

使网络可以从频域学习纹理和细节信息，振幅决定了图像的强度，相位谱决定图像的高级语义（包含图像内容和图像位置）

基于global region shuffling的变换—学习结构和语义信息

随机挑选两个子集合中相同大小的区域进行变换，多次重复以获得破坏图像

创新点

1.根据多曝光图像的特点提出三个自监督重建任务，基于多任务学习训练出了一个自编码器，所以模型不仅能在大规模自然图像上训练，也可以学习到多曝光图像的特点；
2.为了克服CNN难以捕获长程信息的缺陷，提出来包含transformer结构的编码器结构，这样在特征提取过程中局部和全局信息都能捕获；

【TransMEF】相关推荐

【CentOS】利用Kubeadm部署Kubernetes (K8s)
[CentOS]利用Kubeadm部署Kubernetes (K8s)[阅读时间:约10分钟] 一.概述二.系统环境&项目介绍 1.系统环境 2.项目的任务要求三.具体实验流程 1 系统准 ...
【Spring】框架简介
[Spring]框架简介 Spring是什么 Spring是分层的Java SE/EE应用full-stack轻量级开源框架,以IOC(Inverse Of Control:反转控制)和AOP(Asp ...
【C#】类——里式转换
类是由面对对象程序设计中产生的,在面向结构的程序设计例如C语言中是没有类这个概念的!C语言中有传值调用和传址调用的两种方式!在c语言中,主方法调用方法,通过传递参数等完成一些操作,其中比较常用的的数据 ...
【C#】Out与ref是干什么的？
关于return: 1.最后没有写 return 语句的话,表示程序正常退出 2.不需要返回值时,存在return的作用例子 void main() {return; //return退出该程序的作 ...
【软件工程】RUP与软件开发５大模型
软件开发的5大模型 1．瀑布模型:按照人的思维一步一步的开发下去,如果需求分析得当,每个阶段顺利,结果还不错! 2．快速原型模型:后来人们发现,自己不可能一下子就把所有的需求搞清楚,总是在开发的过程中 ...
【VB】学生信息管理系统5——数据库代码
这次学生信息管理系统在代码的理解过程中遇到了一些问题.总结如下: 1. sql server的安装过程各个步骤的意思.在安装SQL Server的时候按照网上的步骤,我觉得这个需要学完整个数据库再返回 ...
白化（预处理步骤）【转】
白化(预处理步骤)[转] 介绍我们已经了解了如何使用PCA降低数据维度.在一些算法中还需要一个与之相关的预处理步骤,这个预处理过程称为白化.举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很 ...
【Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积？膨胀卷积
介绍关于空洞卷积的理论可以查看以下链接,这里我们不详细讲理论: 1.Long J, Shelhamer E, Darrell T, et al. Fully convolutional networ ...
兑换量子计算机,阅读 | 【量子计算机】构造置换量子门
原标题:阅读 | [量子计算机]构造置换量子门量子计算机的一个基本组成单位叫量子门(quantum gate),下面简单介绍些基本概念. 量子比特和量子态量子计算机的信息存储单元是一种叫做量子比特 ...

【TransMEF】