fid和is_【深度学习】生成式对抗网络（GAN）的常见评价指标：IS/FID/JS散度

前言

生成式对抗网络的目标是生成高质量且多样性的样本，而一般的loss对其衡量能力有限，也无法像分类问题这种监督学习一样通过准确率等指标衡量。因此需要一些特定的方式对其进行衡量，本文主要介绍场景的几种衡量方式，即IS、FID与JS散度，能够从不同角度对GAN的效果进行衡量。

IS即Inception Score，是一种比较常用的GAN模型评价指标。其设计基于GAN评价的两大指标，即结果的质量与多样性。前者一般是图像的清晰度，后者则是能否生成足够多样的图片，有些模型只能生成有限的几种，即陷入了上面提到的模式坍塌。

其对清晰度的考虑主要是基于以下假设：对于一个清晰的图片，它属于某一类的概率应该非常大，而属于其它类的概率应该很小。当然这个假设不是完全正确的，很多清晰的图像也难以分辨其具体的类别。但至少可以说得到的结果有明显的特征，也是其质量高的一种表现。这样的描述可以用熵来评价，质量高的结果熵应该很小，或者说混乱度很小，有明显的类别归属；多样性则是从生成结果的类别来衡量的，类别越多越均匀说明多样性越好。这一点同样也可以通过熵来评价。

综上两点，可以得到下面的公式：

仅从衡量大小的角度由于e指数函数为递增函数，故其意义主要在于数值大小的放缩，不影响单调性。IS的核心在于内部对生成结果KL散度的计算，KL 散度用以衡量两个概率分布的距离，是非负的。KL散度值越大说明这两个概率分布越不像，不过注意这个距离不是对称的，其公式如下：

根据上面的介绍，p(y|x)某个维度应该比较大，而p(y)比较均匀，或者说前者属于比较极端的分布，而后者比较均匀，因此主要两者距离足够大，或者说KL散度足够大，那么IS的值便会比较大。另外，实际应用中一般将数学期望改为均值。

JS散度

KL散度可以用来表示概率分布之间的差异，但由于其是不对称的，所以在某些方面可能会存在一些问题。为了克服不对称性提出了JS散度，其公式如下：

从公式可以看出，JS散度是对称的，且取值在0到1之间，当两个分布相同时为0。相对于KL散度，对相似度的判断更加准确。需要注意的一点，当分布距离过远而完全没有重叠时，KL散度是没有意义的，相应的JS散度也无法衡量，相当于梯度消失了。

FID

IS在计算时只使用生成数据的相关信息，对真实数据缺乏考虑，因此无法很好地反映真实数据和生成数据的距离。FID综合考虑了真实数据与生成数据的分布，通过计算其均值与协方差信矩阵行衡量，其公式如下：

可以看到，对于FID数值越小说明两者越接近，说明两者的均值与协方差都比较接近。因为FID直接衡量了生成数据与真实数据的距离，能够避免模式坍塌导致衡量上的问题，避开了IS的很多缺陷。

fid和is_【深度学习】生成式对抗网络（GAN）的常见评价指标：IS/FID/JS散度相关推荐

python深度学习---生成式对抗网络（GAN）
生成式对抗网络(GAN,generative adversarial network)由 Goodfellow 等人于 2014 年提出,它可以替代VAE来学习图像的潜在空间. ''' # 它能够迫使 ...
深度学习--生成式对抗网络--DCGAN/WGAN/WGAN-GP/LSGAN/BEGAN算法理论
目录一生成式对抗网络基础 1 生成式对抗网络的概念 1)网络属于无监督学习 2)网络中判别器D与生成器G的相互博弈,其纳什均衡为D(G(Z))=0.5 3)网络的训练阶段分为两个阶段 2 生成式对 ...
深度学习之生成式对抗网络 GAN（Generative Adversarial Networks）
一.GAN介绍生成式对抗网络GAN(Generative Adversarial Networks)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一.它源于2014年发表的论文:& ...
深度学习之生成式对抗网络GAN
一.GAN介绍生成式对抗网络GAN(Generative Adversarial Networks)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一.模型通过框架中(至少)两个模块 ...
如何用 TensorFlow 实现生成式对抗网络(GAN)
我们来研究一下生成式对抗网络 GAN,并且用 TensorFlow 代码实现. 自从 Ian Goodfellow 在 14 年发表了论文 Generative Adversarial Nets 以 ...
王飞跃教授：生成式对抗网络GAN的研究进展与展望
本次汇报的主要内容包括GAN的提出背景.GAN的理论与实现模型.发展以及我们所做的工作,即GAN与平行智能. 生成式对抗网络GAN GAN是Goodfellow在2014年提出来的一种思想,是一种比 ...
《生成式对抗网络GAN的研究进展与展望》论文笔记
本文主要是对论文:王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃. 生成式对抗网络GAN的研究进展与展望. 自动化学报, 2017, 43(3): 321-332. 进行总结. 相关博客地址: ...
生成式对抗网络(GAN, Generaitive Adversarial Networks）总结
最近要做有关图像生成的工作-也是小白,今天简单学习一些有关GAN的基础知识,很浅,入个门,大神勿喷. GAN目前确实是在深度学习领域最热门,最有前景的方向之一.近几年有关于GAN的论文非常非常之多,从 ...
生成式对抗网络GAN模型搭建
生成式对抗网络GAN模型搭建目录一.理论部分 1.GAN基本原理介绍 2.对KL散度的理解 3.模块导入命令二.编程实现 1.加载所需要的模块和库,设定展示图片函数以及其他对图像预处理函数 1) ...
简述生成式对抗网络 GAN
本文主要阐述了对生成式对抗网络的理解,首先谈到了什么是对抗样本,以及它与对抗网络的关系,然后解释了对抗网络的每个组成部分,再结合算法流程和代码实现来解释具体是如何实现并执行这个算法的,最后通过给出一个 ...

fid和is_【深度学习】生成式对抗网络（GAN）的常见评价指标：IS/FID/JS散度

fid和is_【深度学习】生成式对抗网络（GAN）的常见评价指标：IS/FID/JS散度相关推荐

最新文章

热门文章