IS指标复现 文本生成图像IS分数定量实验全流程复现 Inception Score定量评价实验踩坑避坑流程
目录
- 一、IS分数简介
- 二、IS分数 CUB定量实验步骤
- 第一步：B_VALIDATION改为True
- 第二步：配置训练好的生成器
- 第三步：采样生成图像
- 第四步：下载IS代码并配置
- 第五步：下载预训练好的inception mode并配置
- 第六步：配置inception_score.py，更改读取的路径
- 第七步：开始定量评测
- 最后
一、IS分数简介
文本生成图像的评估也是一个很有挑战性的工作，IS分数是测量图像质量的一个通用指标。
IS用到了KL散度和熵的数学知识，其主要原理在于计算p(y|x)和p（y）之间的散度，IS分数越大越好。
二、IS分数 CUB定量实验步骤
以DF-GAN为例子：
第一步：B_VALIDATION改为True
根据DF-GAN的官方文档，首先将bird.yml中的B_VALIDATION改为True：
第二步：配置训练好的生成器
配置训练好的model，并将其放到code/bird中，重命名为netG.pth，DF-GAN官方也给出了训练好的模型：官方链接 ，打不开官方链接的可以点击CSDN链接，下载后放入指定文件夹即可。
第三步：采样生成图像
运行：python main.py --cfg cfg/bird.yml
可能出现的问题1：RuntimeError: Attempting to deserialize object on CUDA device
1 but torch.cuda.device_count() is 1
问题原因：模型在训练时使用了多块GPU，但是本机只有1块GPU
解决方案：指定用“cuda:0”，找到两个torch.load(）
第一处在main.py的第57行：netG.load_state_dict(torch.load('models/%s/netG.pth' % (cfg.CONFIG_NAME))将其更改为：netG.load_state_dict(torch.load('models/%s/netG.pth' % (cfg.CONFIG_NAME), map_location='cuda:0'))
第二处在第254行将其更改为：state_dict = torch.load(cfg.TEXT.DAMSM_NAME, map_location='cuda:0')
可能出现的问题2：
RuntimeError: Error(s) in loading state_dict for NetG:
size mismatch for fc.weight: copying a param with shape torch.Size([4096, 100]) from checkpoint, the shape in current model is torch.Size([1024, 100]).
size mismatch for fc.bias: copying a param with shape torch.Size([4096]) from checkpoint, the shape in current model is torch.Size([1024]).
size mismatch for block0.c1.weight: copying a param with shape torch.Size([256, 256, 3, 3]) from checkpoint, the shape in current model is torch.Size([64, 64, 3, 3])
问题原因：在加载模型时，参数对应不上，尺寸mismatch
解决方案：查看训练出的模型model.py与此时做定量的model.py是否一样，查看yml文件的尺寸大小是否设置一样，特别是NF参数的设置。如果是使用的DF-GAN官方训练好的模型，要将NF设置为32，其他也要保持一致：
成功运行后，会进行自动采样生成若干图片，即成功
第四步：下载IS代码并配置
官方提供的IS分数（StackGAN用过的）代码：github链接，将其放入文件夹中位置如下：
第五步：下载预训练好的inception mode并配置
下载预训练好的inception model：官方链接、打不开可以点击：CSDN链接，将其放入文件夹指定位置，位置如下：
第六步：配置inception_score.py，更改读取的路径
打开inception_score.py的代码，定位到41行到49行：
可以看到这里有两个文件地址，第一个地址是指明在哪里读取预训练好的inception model checkpoints，将其改为自己放的路径：
tf.app.flags.DEFINE_string('checkpoint_dir','../birds_valid299/model.ckpt',"""Path where to read model checkpoints.""")
第二个路径是指从哪里读取采样的图片，同样将其改为自己放的路径：
tf.app.flags.DEFINE_string('image_folder','../test/valid/single',"""Path where to load the images """)
第七步：开始定量评测
在终端输入：python inception_score.py --image_folder ../test/valid/single
显示如下：
就是大功告成啦，可以看到本次结果为 4.61，误差为±0.13！
最后
IS指标复现 文本生成图像IS分数定量实验全流程复现 Inception Score定量评价实验踩坑避坑流程相关推荐
- R分数复现 R-precision评估指标定量 文本生成图像R分数定量实验全流程复现（R-precision）定量评价实验踩坑避坑流程
目录 一.R-precision分数简介 二. R-precision-CUB定量实验步骤 2.1.下载R-precision代码 2.2.分析 2.3.配置好文件 2.4.更改路径参数 2.5.生成 ...
- AI艺术的背后：详解文本生成图像模型【基于GAN】
系列文章链接: AI艺术的背后:详解文本生成图像模型[基于 VQ-VAE] AI艺术的背后:详解文本生成图像模型[基于GAN] AI艺术的背后:详解文本生成图像模型[基于Diffusion Model ...
- Text to image论文精读PDF-GAN：文本生成图像新度量指标SSD Semantic Similarity Distance
SSD,全称为Semantic Similarity Distance,是一种基于CLIP的新度量方式,是西交利物浦大学学者提出的一种新的文本生成图像度量指标,受益于所提出的度量,作者进一步设计了并行 ...
- 别说了，有画面了！Google文本生成图像取得新SOTA，CVPR2021已接收
来源:新智元 [导读]从图像到生成文本.从文本生成图像,多模态模型的探索一直未停止.最近Google又出从文本到图像的新模型,75%的人类都说超过了传统的SOTA模型,直呼脑子里有画面了! 文本到图像 ...
- 文本生成图像的新SOTA：Google的XMC-GAN
点击上方"机器学习与生成对抗网络",关注星标 获取有趣.好玩的前沿干货! 来源:新智元 [导读]从图像到生成文本.从文本生成图像,多模态模型的探索一直未停止.最近Google又出从 ...
- 字节最新文本生成图像AI，训练集里居然没有一张带文字描述的图片？！
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 丰色 发自 凹非寺 量子位 | 公众号 QbitAI 一个文本-图像 ...
- 缩小规模，OpenAI文本生成图像新模型GLIDE用35亿参数媲美DALL-E
视学算法报道 编辑:陈萍.小舟 模型的参数规模并不需要那么大. 从年初 OpenAI 刷屏社区的 DALL-E 到英伟达生成逼真摄影的 GauGAN2,文本生成图像可谓是今年大火的一个研究方向.现在 ...
- 文本生成图像简述4——扩散模型、自回归模型、生成对抗网络的对比调研
基于近年来图像处理和语言理解方面的技术突破,融合图像和文本处理的多模态任务获得了广泛的关注并取得了显著成功. 文本生成图像(text-to-image)是图像和文本处理的多模态任务的一项子任务,其根据 ...
- AI艺术的背后：详解文本生成图像模型【基于 VQ-VAE】
系列文章链接: AI艺术的背后:详解文本生成图像模型[基于 VQ-VAE] AI艺术的背后:详解文本生成图像模型[基于GAN] AI艺术的背后:详解文本生成图像模型[基于Diffusion Model ...
最新文章
- Android开发之LisitView的图文并排效果实现（源代码分享）
- 写给那些正奔三的80后[转]
- java 文件上传 demo_java文件上传Demo
- Android中点击事件的四种写法
- Java？Python？Let us GO！
- Visual 数据绑定
- ie兼容响应式布局的实现总结 和 针对ie浏览器的CSS
- 使用ueditor实现多图片上传案例——Dao层（IShoppingDao）
- CCF CSSP202009-1称检测点查询
- 微信小程序连接本地接口（转）
- 盘点抖音及今日头条的优化推广方法有哪些？
- java开源内容发布系统_18个Java开源CMS系统一览
- java添加缓存_实现 Java 本地缓存的方法解析
- iOS13新增SceneDelegate文件适配
- windows系统C盘扩容详解
- xp系统更改计算机名c盘,c盘满了怎么办,小编教你电脑xp的c盘满了怎么办
- 这几招教你如何增加食物中铁的吸收
- uninstall和install
- SDSoC软硬件协同设计流程系列——1.基于SDSoC的软硬件协同设计流程简介
- 网站SEO怎么让网站收录翻倍，提升网站收录率