FusionGAN简介

FusionGAN是使用生成对抗式神经网络（GAN）来完成红外和可见光图像融合任务，并且取得了很好的实验效果。

论文地址

FusionGAN论文地址：
FusionGAN: A generative adversarial network for infrared and visible image fusion

FusionGAN代码

FusionGAN代码已经开源在GitHub上FusionGAN代码

FusionGAN开源代码内容

代码下载好，解压后，应该有如下内容
cheatpoint文件夹中CGAN_120文件夹内存放的是预训练模型
Train_ir/Train_vi分别存放的是训练用的红外和可见光数据集
Test_ir/Test_vi分别存放的是测试用的红外和可见光数据集

使用预训练模型运行代码

如果只需要使用预训练模型运行代码，只需要运行test_one_image.py文件即可，运行代码为

python3 test_one_image.py

这里使用python3是因为我使用的环境原因，如果您运行报错可尝试使用如下代码

python test_one_image.py

运行正确后，

实验结果会保存在result文件夹中

使用FusionGAN训练自己的数据集

训练过程

数据集相关

红外和可见光图像训练数据集分别放在Train_ir/Train_vi中，代码默认图像必须是.bmp格式，如果数据集不是.bmp格式，则需要修改utils.py文件第72行代码，修改.bmp为你数据集中的图片格式

  if FLAGS.is_train:filenames = os.listdir(dataset)data_dir = os.path.join(os.getcwd(), dataset)data = glob.glob(os.path.join(data_dir, "*.bmp"))#修改bmp为你数据集中的图片格式data.extend(glob.glob(os.path.join(data_dir, "*.tif")))#将图片按序号排序data.sort(key=lambda x:int(x[len(data_dir)+1:-4]))else:data_dir = os.path.join(os.sep, (os.path.join(os.getcwd(), dataset)))data = glob.glob(os.path.join(data_dir, "*.bmp"))data.extend(glob.glob(os.path.join(data_dir, "*.tif")))data.sort(key=lambda x:int(x[len(data_dir)+1:-4]))#print(data)

代码修改

1. xrange修改为range

由于我的python版本为python 3.x，而xrange( )函数时在python 2.x中的一个函数，在Python 3中，range()的实现方式与xrange()函数相同，所以就不存在专用的xrange( )，因此需要把xrange改为range，需要修改的地方有三处：
model.py的144和147行以及utils.py的150行。
2. 其他修改
按如下方式修改utils.py的164行。

          sub_label = label_[x+padding:x+padding+config.label_size, y+padding:y+padding+config.label_size] # [21 x 21]sub_label = label_[int(x+padding):int(x+padding+config.label_size), int(y+padding):int(y+padding+config.label_size)] # [21 x 21]

我在运行FusionGAN代码时只需要修改以上几处就可以正常训练自己的数据集了。

训练

修改好代码后，只需要运行main.py文件即可，运行代码为

python3 main.py

这里使用python3是因为我使用的环境原因，如果您运行报错可尝试使用如下代码

python main.py

训练过程会在cheatpoint文件夹中生成Train_ir/Train_vi两个文件，两个文件中均有train.h5的文件，训练生成的模型会放在CGAN_120文件夹内

测试过程

测试只需要运行test_one_image.py文件即可，运行代码为

python3 test_one_image.py

这里使用python3是因为我使用的环境原因，如果您运行报错可尝试使用如下代码

python test_one_image.py

总结

我按照上述过程就可以顺利运行FusionGAN代码，并使用该代码训练自己的数据集，但因为每个人环境的不同，可能会有其他问题的出现，只需要根据报错信息，善用搜索引擎，耐心修改即可。

FusionGAN图像融合代码学习相关推荐

图像融合GANMcC学习笔记
GANMcC: A Generative Adversarial Network with Multi-classification Constraints for Infrared and Visi ...
基于深度学习的红外和可见光图像融合论文及代码整理
基于深度学习的红外和可见光图像融合论文及代码整理首先附上近期整理基于深度学习的图像融合论文的思维导图本篇博客主要整理基于深度学习的红外和可见光图像融合的论文和代码图像融合系列博客还有: 图像融合 ...
基于深度学习的多聚焦图像融合(Multi-Focus Image Fusion)论文及代码整理
基于深度学习的多聚焦图像融合(Multi-Focus Image Fusion)论文及代码整理首先附上近期整理基于深度学习的图像融合论文的思维导图本篇博客主要整理基于深度学习的多曝光图像融合的论文 ...
基于深度学习的多曝光图像融合(Multi-exposure Image Fusion)论文及代码整理
基于深度学习的多曝光图像融合(Multi-exposure Image Fusion)论文及代码整理首先附上近期整理基于深度学习的图像融合论文的思维导图本篇博客主要整理基于深度学习的多曝光图像融合 ...
图像融合论文及代码整理最全大合集
最全图像融合论文及代码整理 News [2022-07-29] 我们的综述论文<基于深度学习的图像融合方法综述>被<中国图象图形学报>正式接收![论文下载] Github项目地 ...
红外和可见光图像融合论文及代码整理
红外和可见光图像融合论文及代码整理 News [2022-07-29] 我们的综述论文<基于深度学习的图像融合方法综述>被<中国图象图形学报>正式接收![论文下载] 本篇博文在 ...
今晚直播 | AAAI 2022论文解读：重新思考图像融合策略和自监督对比学习
「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和 ...
SeAFusion:首个结合高级视觉任务的图像融合框架
SeAFusion:首个结合高级视觉任务的图像融合框架论文:https://doi.org/10.1016/j.inffus.2021.12.004 代码:https://github.com/Li ...
图像融合常用数据集整理
图像融合常用数据集整理先附上整理常用数据集时绘制的思维导图本篇博客主要整理图像融合常用数据集整理图像融合系列博客还有: 图像融合论文及代码整理最全大合集参见:图像融合论文及代码整理最全大合集图 ...
图像融合 skimage
图像融合skimage 图像融合代码结果示例图像融合 ##拉普拉斯金字塔 In CollageCreate function, there is a Fusion class object. Th ...

FusionGAN图像融合代码学习

FusionGAN代码

FusionGAN简介

论文地址

FusionGAN代码

FusionGAN开源代码内容

使用预训练模型运行代码

使用FusionGAN训练自己的数据集

训练过程

数据集相关

代码修改

训练

测试过程

总结

FusionGAN图像融合代码学习相关推荐

最新文章

热门文章