图像融合遇见Transformer
在这篇博客中,主要是收集到一些图像融合框架中引入Transformer结构的文章,提供给大家参考学习,目前图像融合领域引入Transformer结构的文章比较少(我所看到的比较少,也看可能我看的比较少?),主要作用就是把它作为一种提取特征的方式,或者说更倾向于long-range dependencies的建立。Transformer引入到图像融合领域的时间并不长,大部分文章都是2020-2022发出的,所有并没有统计发表年份。至于是具体是哪个会议或者期刊发表的并没有标注,有兴趣可以自己去查查。
Transformer 主要是通过自注意力学习图像斑块之间的全局空间关系。 自注意力机制致力于建立long-range dependencies,从而在浅层和深层中更好地利用全局信息,所以 Transformer 的使用就是解决长序列问题的一个好方法。在 CV 领域中常用的就是 CNN,它可以提取本地的特征,因为每次卷积就是提取该卷积下的特征图,在局部信息的提取上有很大优势,但无法关注图像的长期依赖关系,阻碍了复杂场景融合的上下文信息提取。所以, Transformer 的引入主要解决这个问题。
下面这个思维导图从单任务和多任务的角度进行设计的,简单看看吧!!!
下面这个表格是论文的名称,以及在网络结构上进行了总结。
CNN+Transformer结构 | ||
文章 | 类型 | 代码 |
Image Fusion Transformer | VIF | 文中提供了代码链接 |
MFST: Multi-Modal Feature Self-Adaptive Transformer for Infrared and Visible Image Fusion | VIF | |
DNDT: Infrared and Visible Image Fusion Via DenseNet and Dual-Transformer | VIF | |
TransMEF: A Transformer-Based Multi-Exposure Image Fusion Framework using Self-Supervised Multi-Task Learning | MEF |
文中提供了代码链接 |
TransFuse: A Unified Transformer-based Image Fusion Framework using Self-supervised Learning |
Unified Framework |
文中提供了代码链接 |
TGFuse: An Infrared and Visible Image Fusion Approach Based on Transformer and Generative Adversarial Network | VIF | |
SwinFusion: Cross-domain Long-range Learning for General Image Fusion via Swin Transformer | Unified Framework | 文中提供了代码链接 |
CGTF: Convolution-Guided Transformer for Infrared and Visible Image Fusion | VIF | |
Pure Transformer结构(这两篇都是预训练模型做的) | ||
SwinFuse: A Residual Swin Transformer Fusion Network for Infrared and Visible Images | VIF | 文中提供了代码链接 |
PPT Fusion: Pyramid Patch Transformer for a Case Study in Image Fusion | Unified Framework |
上述论文的实验部分都是比较的卷积方法或者传统方法,并没有比较到使用到Transforme的模型,所以他们之间的是啥情况,那就不清楚了,没刻意去比较过,有兴趣可以去比较比较。That thing is not sure!!!
思考:怎么把Tranformer合理的引入到CNN结构中进行图像融合以及如何真正地将Transformer用到图像融合融合中(完全使用Transformer去构建图像融合模型) ???
目前,只收集到这些文章。。如有错误,希望大家看到后及时在评论区留言!!!
另外,如果想更多的关注图像融合领域相关的知识,大家可以关注以下优秀的博主:
1:部分基于深度学习的红外与可见光图像融合模型总结 - 知乎 (zhihu.com)
2:(7条消息) 红外和可见光图像融合论文及代码整理_Timer-419的博客-CSDN博客_图像融合论文
希望对大家有帮助,欢迎大家补充!!!
图像融合遇见Transformer相关推荐
- CVPR 2023 | 结合Transformer和CNN的多任务多模态图像融合方法
©作者 | 奥本海默 本文为大家带来 CVPR 2023 在图像融合领域的最新工作 CDDFuse: Correlation-Driven Dual-Branch Feature Decomposit ...
- CVPR'23 | 结合Transformer和CNN的多任务多模态图像融合方法
作者 | 奥本海默 编辑 | 汽车人 原文链接:https://zhuanlan.zhihu.com/p/617936182 点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷 ...
- [Python从零到壹] 三十七.图像处理基础篇之图像融合处理和ROI区域绘制
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...
- 当CNN遇见Transformer!华为诺亚提出CMT:新视觉Backbone
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 转载自:AIWalker 标题&作者团队 CMT: Convolutional Neural Net ...
- 帮推|基于深度学习的图像融合方法综述
基于深度学习的图像融合方法综述 博主朋友关于图像融合的综述论文基于深度学习的图像融合方法综述已被<中国图象图形学报>正式接收! 极力推荐想要入门图像融合领域的小伙伴下载学习,此外希望在图像 ...
- 图像融合论文及代码整理最全大合集
最全图像融合论文及代码整理 News [2022-07-29] 我们的综述论文<基于深度学习的图像融合方法综述>被<中国图象图形学报>正式接收![论文下载] Github项目地 ...
- 红外和可见光图像融合论文及代码整理
红外和可见光图像融合论文及代码整理 News [2022-07-29] 我们的综述论文<基于深度学习的图像融合方法综述>被<中国图象图形学报>正式接收![论文下载] 本篇博文在 ...
- 基于深度学习的图像融合-论文整理【2022版】
红外和可见光图像融合(Infrared and visible image fusion) 方法 标题 论文 代码 发表期刊或会议 基础框架 监督范式 发表年份 DenseFuse DenseFuse ...
- 【opencv】(2) 图像处理:边界填充、图像融合、图像阈值、数值计算
主要内容有:边界填充 cv2.copyMakeBorder(),数值计算 cv2.add(),改变尺寸 cv2.resize(),图像融合 cv2.addWeighted(),图像阈值 cv2.thr ...
最新文章
- LeetCode之All Possible Full Binary Trees(Kotlin)
- 聚类算法 sklearn k_means (返回一维数据的最优聚类)
- 多线程中使用UNITY变量导致线程执行断掉却又不报错的问题
- numpy 是否为零_一文看懂Numpy统计计算、数组比较
- Java并发性和多线程介绍目录
- 漫画:给女朋友介绍什么是 “元宇宙” ?
- error C2143: syntax error : missing ‘;’ before ‘type’
- Ajax提交与传统表单提交的区别说明
- php与web页面交互
- 微软发布 Autodesk FBX 漏洞带外安全公告,将于5月推出补丁
- 苦逼程序猿的求职经历
- Ubuntu18.04 sqlite3安装及其应用
- Nanopore 纳米孔 测序数据处理 微生物 16S全长 Centrifuge的安装和使用
- 互联网商业模式O2O、C2C、B2B、B2C等介绍
- 计算机私密相册安全吗,一张照片竟能泄露这么多隐私?这个功能不可不知
- python解常微分方程组
- DbVisualizer破解
- 时空大数据可视化专栏
- html 并列的标签怎么换行?
- 阿里云数据库优惠活动: 数据库MySQL配置价格表出炉
热门文章
- androidnbsp;实时对讲机的实现
- python blp模型 估计_谁能简单解释一下经济学中的BLP模型?
- 20151221-精典语录
- 求解SDP问题—使用SeDuMi和YALMIP
- r语言和metawin_手把手教你用R的gemtc包对连续变量进行贝叶斯网状Meta分析
- Adobe Photoshop CS4插件开发SDK的使用
- cartographer:论文阅读(Real-Time Loop Closure in 2D LIDAR SLAM)
- 作品合集的封面应该如何优化,作品合集封面如何制作
- Easy Forms: Advanced Form Builder and Manager
- java分布式定时_分布式定时任务程序