fid和is_【GAN】用于生成图像的评价指标—

在使用GAN进行图像生成任务中，我们的目的就是为了得到高质量的生成图像，那么总得需要个度量指标来衡量生成的图像是否是“高质量”的吧？不能完全靠人眼主观判断。这里提到生成图像的“高质量”，主要从两方面考虑：

图像本身的质量。如：是否清晰，内容是否完整，是否逼真等等。

多样性。最终的生成器所生成的图像需要多种多样的，不能只生成一种或几种类型的图像，产生的这种现象称为模式崩溃(Mode collapse)。

下面介绍两个在文献中常用的评价指标，IS(Inception Score)和FID(Fréchet Inception Distance)。

一、IS(Inception Score)

Inception Score[1] 使用在ImageNet上预训练的Inception V3 Network作为分类网络，将生成器生成的图像输入到Inception V3 Network中，对该网络输出值(图像所属类别)做统计分析。

IS的计算公式如下：

I S ( G ) = exp ⁡ ( E x ∼ p g D K L ( p ( y ∣ x ) ∣ ∣ p ( y ) ) ) (1) IS(G)=\exp(\mathbb{E}_{\mathbf{x}\sim p_g}D_{KL}(p(y|\mathbf{x}) || p(y))) \tag 1IS(G)=exp(Ex∼pgDKL(p(y∣x)∣∣p(y)))(1)

其中：

x ∼ p g \mathbf{x} \sim p_gx∼pg表示x \mathbf{x}x是从p g p_gpg中生成的图像样本。

D K L ( p ∣ ∣ q ) D_{KL}(p || q)DKL(p∣∣q)表示分布p pp和q qq间的KL散度(衡量两个分布间距离)。

fid和is_【GAN】用于生成图像的评价指标——IS和FID相关推荐

【杂谈】除了生成图像(造假)，GAN如何给目标检测，图像分割，图像增强等问题打辅助？...
欢迎大家来到<知识星球>专栏,在GAN刚刚诞生的时候,的确只是用于生成图像造造假,做做数据增强,但是后来研究人员发现对抗思想是一个非常好的东西,几乎可以用于所有领域,今天介绍几个GAN在经 ...
Transformer也能生成图像，新型ViTGAN性能比肩基于CNN的GAN
©作者 | Panda 来源 | 机器之心 Transformer 已经为多种自然语言任务带来了突飞猛进的进步,并且最近也已经开始向计算机视觉领域渗透,开始在一些之前由 CNN 主导的任务上暂露头角. ...
今晚直播 | 旷视研究院王毅：用于条件图像生成的注意力归一化
「PW Live」是 PaperWeekly 的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义, ...
直播预告 | 旷视研究院王毅：用于条件图像生成的注意力归一化
「PW Live」是 PaperWeekly 的学术直播间,旨在帮助更多的青年学者宣传其最新科研成果.我们一直认为,单向地输出知识并不是一个最好的方式,而有效地反馈和交流可能会让知识的传播更加有意义, ...
GAN能生成3D图像啦！朱俊彦团队公布最新研究成果
晓查发自凹非寺量子位出品 | 公众号 QbitAI GAN现在可以合成3D图像了! 最近,MIT计算机科学与AI实验室的朱俊彦团队,发表了一篇论文<Visual Object Netwo ...
【每周CV论文推荐】初学基于GAN的三维图像生成有哪些经典论文需要阅读
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 当前二维图像生成领域的发展已经非常成熟,但是 ...
GAN属于计算机视觉领域嘛_GAN生成图像综述
作者信息: YTimo PKU EECS 研究方向:深度学习,计算机视觉原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的. 其它机器学习.深度学习算法的全面系统讲 ...
用GAN来做图像生成，这是最好的方法
在我们之前的文章中,我们学习了如何构造一个简单的 GAN 来生成 MNIST 手写图片.对于图像问题,卷积神经网络相比于简单地全连接的神经网络更具优势,因此,我们这一节我们将继续深入 GAN,通过融合 ...
GAN｜在图像生成领域里，GAN这一大家族是如何生根发芽的
作者:思源本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载图像生成领域的 SOTA 排名涉及非常多的数据集与度量方法,我们并不能直观展示不同 GAN 的发展路线. ...
AI艺术的背后：详解文本生成图像模型【基于GAN】
系列文章链接: AI艺术的背后:详解文本生成图像模型[基于 VQ-VAE] AI艺术的背后:详解文本生成图像模型[基于GAN] AI艺术的背后:详解文本生成图像模型[基于Diffusion Model ...

fid和is_【GAN】用于生成图像的评价指标——IS和FID

fid和is_【GAN】用于生成图像的评价指标——IS和FID相关推荐

最新文章

热门文章