ZERO-SHOT MULTI-FOCUS IMAGE FUSION

（零镜头多焦点图像融合）

多聚焦图像融合 (Multi-focus image fusion (MFIF)) 是消除成像过程中产生的离焦模糊的有效方法。The difﬁculties in focus level estimation and the lack of real training set for supervised learning make MFIF remai a challenging task after decades of research.
我们提出了一种名为IM-Net的新颖体系结构，该体系结构由I-Net组成，用于对融合图像的深度先验进行建模，而M-Net则用于对焦点图的深度先验进行建模。在没有任何大规模训练集的情况下，我们的方法通过提取的先验信息实现了零射击学习。

介绍

在成像系统中，由于深度场 (depth-of-ﬁeld (DOF)) 的限制，相机焦平面外的物体会变得模糊，从而难以获得全聚焦图像，并导致图像质量大大降低。近年来，已经提出了各种多焦点图像融合 (MFIF) 算法来解决此问题。它们可以将源图像对的聚焦区域 (具有不同焦距) 在同一场景中进行组合，从而获得全聚焦高质量和信息性的聚焦图像，具有广泛的应用。

通常，MFIF方法可以分为三类: 基于变换域的方法，基于空间域的方法和基于深度学习的方法。
基于变换域的方法使用手工制作的图像分解算法将原始图像转换为变换域，以便能够更好地编码以区分清晰的几何特征，然后融合变换后的图像，最后进行逆变换以获得融合的图像。1985年，Burt等人提出了第一个基于拉普拉斯金字塔的多尺度分解MFIF方法。之后出现了一系列基于多尺度分解的融合方法，包括基于小波变换、基于DCT等。
这些基于变换域的方法已被广泛使用，因为它们可以避免直接操纵像素引起的伪像（artifacts），但是由于对高频分量的敏感性，它们容易导致失真。通过估计二进制焦点图，然后基于获得的焦点图执行源图像对的加权和，基于空间域的方法开始引起注意。

但是这些传统的基于先验的方法以活动度量和融合规则的设计为主要任务，并提出了许多手工制作的活动度量来估计基于低级特征的清晰度，例如边缘信息或梯度信息的减少，以及像素强度或对比度的降低。
同时缺点也是：这些手工制作的功能无法准确表征图像是否聚焦。为了减轻手工先验 (手工图像分解方法或手工特征) 的依赖性，已经提出了许多基于深度学习的方法，通过这些方法可以共同优化活动度量和融合规则，以获得更好的效果。

基于深度学习的MFIF方法可以进一步分为基于监督学习的方法和基于无监督学习的方法。Liu等人提出了第一个有监督的暹罗结构（Siamese structured ）CNN网络，用于MFIF在补丁级别执行分类。Guo等人提出使用全卷积网络来获得从源图像对到焦点图的端到端映射。Xiao等人设计了一个精致的监督模型，以充分利用低级和高级信息。

这些使用具有手工参数的合成数据集的基于监督学习的模型可能与真正的成像过程不一致，后者需要考虑点扩散函数 (PSF) 以及物体和镜头之间的距离。-------->所以，无监督学习成为一种直接解决方案。具体来说，Prabhakar等人采用了预先训练的自动编码器来提取特征，并将原始图像映射到高维特征空间中。由于发现提取的深层特征具有良好的泛化，鲁棒性和开发潜力，因此基于这项工作进行了一些改进。最近，一种称为MFF-GAN的无监督融合方法在联合梯度约束下进行了对抗博弈。此外Ma等人训练了一个strongly self-supervised mask generator 以直接生成binary mask，而无需任何后处理。尽管这些基于深度学习的方法已经达到了最先进的 (SOTA) 性能，但它们中的大多数都以有监督的 (具有地面真相) 或经过训练的 (具有用于训练的大图像集) 方式工作。为了解决这种具有挑战性且较少触及的问题，人们高度期望开发一种新颖的深度神经网络，该网络可以同时以无监督和未经训练的方式工作，同时实现有希望的性能。

最近，由Ulyanov等人提出的DIP（数字图像处理）。[1] 使用精心设计的 “沙漏” 发生器来捕获低级图像统计信息，向我们展示了未经训练的网络提取的深层特征可以用作许多低级任务的图像，而无需任何训练数据。基于这项工作，Gandelsman等人提出了基于耦合DIP的图像分解任务的通用框架，Ren等人将DIP应用于图像去模糊并取得了视觉上有利的效果。

受这些工作的启发，我们提出了一种称为IM-Net的新型MFIF网络，该网络采用两个联合子网络 (即I-Net，M-Net) 来生成融合图像和焦点图**。生成的融合图像和焦点图需要满足能够重建观察到的输入图像的约束**。IM-Net 仅使用观察到的输入多焦点图像中包含的信息来执行MFIF，这不遵循在具有一些地面真相的图像集上训练神经网络的常规范例。我们的IM-Net的主要优势在于，它可以避免劳动密集型数据收集和域转移问题，如现有的基于深度学习的方法，同时取得有希望的结果。

贡献

（i）这项工作可能是MFIF的首次zero-shot methods 之一，可以预测清晰的融合图像，而无需地面真相或图像收集。
(ii) 受DIP的启发，应用两个生成网络同时对clean fused image和焦点图的深度先验进行建模，结合了基于焦点图估计的方法可以很好地保留源图像信息的优点和基于融合图像生成的方法可以提供良好的视觉效果的优点。
(iii) 将几个SOTAs与我们的方法进行了比较，以证明我们的IM-Net的有效性。

方法

MFIF可以看作是根据聚焦图I_m ∈Rm×nR^{m × n}Rm×n的源图像I_A ∈Rm×n×cR^{m × n × c}Rm×n×c和I_B ∈Rm×n×cR^{m × n× c}Rm×n×c加权和，M和N分别表示源图像的高度和宽度，C表示源图像的通道数。为简单起见，我们只考虑两个源图像的融合，因为它可以很容易地扩展到其他情况。融合图像I_fused ∈Rm×n×cR^{m × n × c}Rm×n×c可以计算为

如上所述，许多MFIF方法都深深依赖于手工制作的先验。在本文中，我们探索了深度神经网络作为图像先验的能力，并将深度先验应用于融合多焦点图像对。受DIP 和double-DIP的启发，我们将MFIF转换为由两个生成网络组成的 “zero-shot”自我监督学习形式，可以对干clean fused image I_fused 的深度先验进行建模。和聚焦图I_m满足上述等式。图1显示了我们方法的主要结构。分别从均匀分布中随机采样两个输入噪声Z_i和Z_m，然后通过两个基于U-Net的沙漏结构网络I-Net和M-Net，以获得融合图像和估计的焦点图I_m。

Network Architecture

网络架构DIP使用随机初始化的深度网络来拟合单个图像，并将提取特征作为图像的深度先验，但是图像样本的缺乏使得深度模型容易过度拟合，精心设计的沙漏网络可以大大缓解这一问题。U-Net擅长提取低级和高级信息，因此DIP采用U-Net作为其骨干。下采样模块和上采样模块之间的不对称设计可以有效地避免琐碎的解决方案，即，如果出现与IA或IB相同，而Im则出现全白或全黑，这会使算法难以优化。大量的BatchNorm层也可以使网络更好地适合高频组件。我们的im-net的网络体系结构如上图所示。

ZERO-SHOT：多聚焦融合相关推荐

多聚焦融合：科普类，对知识的总结
Multi-focus image fusion: A Survey of the state of the art (多焦点图像融合: 对最新技术的调查) 一组部分聚焦图片融合生成全焦点图片,将现有 ...
2017 CCBN：迪普科技聚焦融合让广电网络更简单·智能·安全
3月23日-25日,以"视界融合.智享未来"为主题的第二十五届中国国际广播电视信息网络展览会(CCBN2017)在北京中国国际展览中心盛大启动.在本次展会中,作为以技术领先的网络安 ...
【图像融合】基于随机游走算法实现多焦点图像融合含Matlab代码
1 内容介绍近几年来,随机游走模型(random walk)与引导滤波器(guided filter)在图像处理领域受到了研究者们的广泛关注.前者已经被应用于图像处理的多种领域--图像融合.图像平滑 ...
腾讯最大规模裁撤中层干部，让贤年轻人
近日,据媒体报道,自2018年12月以来,腾讯已开始裁撤一批中层干部,调整比例为10%,这样的规模"是腾讯历时上绝无仅有的",一位腾讯内部员工称.此轮调整被视为腾讯第三次架构调整的 ...
京东抄袭源码；腾讯回应裁员；新 iPad Pro 十月发布 | 极客头条
「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有料的新闻资讯,让所有技术人,时刻紧跟业界潮流. 快讯速知开 ...
《2023新一代数字办公白皮书》正式发布！| 爱分析报告
2023年5月12日,受北京市数字办公安全创新联合体委托,由自主可控新鲜事和爱分析联合撰写的<2023新一代数字办公白皮书>(以下简称<白皮书>)在"2023通明湖论 ...
计算机在航空航天的应用ppt,数字图像处理技术的应用_北京航空航天大学：数字图像处理技术的应用_ppt_大学课件预览_高等教育资讯网...
数字图像处理技术的应用北京航空航天大学宇航学院图象处理中心第一节数字图像处理应用概述 1.1 图像的重要性: 人类离不开图像, 计算机图像技术渗透到各个科技领域, 百闻不如一见 . 画面比 ...
辰视将携3D视觉技术及各领域解决方案参加华南工博会国际机器视觉展
新一轮工业革命方兴未艾,全球工业数字化转型迈向纵深.在素有"世界工业发展晴雨表"之称的汉诺威工业博览会,有关数字工业.智能制造的设想和愿景越来越多地变为现实应用. 创办于1947年 ...
每日新闻：腾讯内部架构大调整;首个网民网络安全感满意度调查报告发布-网民满意度总体中等偏上;马斯克将辞任特斯拉董事长...
关注中国软件网最新鲜的企业级干货聚集地今日热点腾讯内部架构大调整: 追赶阿里云对阵头条系腾讯公司的组织架构在时隔6年后迎来新一轮的优化调整,在原有七大事业群(BG)的基础上进行重组整合,成立 ...

ZERO-SHOT：多聚焦融合

ZERO-SHOT MULTI-FOCUS IMAGE FUSION

介绍

贡献

方法

Network Architecture

ZERO-SHOT：多聚焦融合相关推荐

最新文章

热门文章