生成图像质量和多样性的评估方法

文章目录

定性评估
定量评估
- Inception score
- Frechet Inception Distance
- Mode Score
- 1-最近邻双样本检验
小结
来源

在目前的研究中,对生成图像的质量进行合理地评估主要是从定性评估和定量评估两个方面进行.定性的评估一般在众包平台靠人完成;而定量的评估方法有Inception score、Fréchet Inception Distance、Mode Score等方法.定性的评估方式将在这一节首先被讨论.

定性评估

该方法主要还是靠人的眼睛来进行判断.一般的做法是将真实图像和生成图像对上传到众包平台上让人来判断图像的真假,并且给出两者的相似程度,最后根据打分的结果统计一个最终的指标.

在实践中由于人的主观性是很强的,每个人的标准是不一致的,导致定性评估不是一个通用的标准;视觉检查在评估一个模型对数据的拟合程度时,在低维度数据的情况下可以工作得很好,但是在高维度数据的情况下,这种直觉性可能会导致误导.如图13所示,从标准GAN到最近BIGGAN模型架构的变化,以及生成图像的结果来看,图像生成模型的复杂度和计算量在不断地增加;同时,生成图像的逼真度越来越好,多样性也越来越好.

图13 生成图像质量和多样性,以及模型复杂度的变化流图

定量评估

Inception score

Inception score[78](IS)是一种用类概率分布来对生成图像进行评估的方法.该方法使用一个预先在 I m a g e N e t ImageNet ImageNet数据集上训练的 I n c e p t i o n V 3 Inception V3 InceptionV3网络

然后以生成的图像 x x x作为输入，输入分类器，并且输出 p ( y ∣ x ) p(y|x) p(y∣x);

如果一幅生成图像的质量越好，那条件概率分布 p ( y ∣ x ) p(y|x) p(y∣x)的熵就越低，也就意味着分类器以很高的置信度将图像分到某一类。

生成器生成的图像应该具有多样性，因此边缘分布 p ( y ) = ∫ p ( y ∣ x = G ( z ) ) d z p (y)=∫p(y|x=G(z))dz p(y)=∫p(y∣x=G(z))dz应该有很高的熵；基于这样的条件， I S IS IS可以通过下式来计算：
I S = exp ⁡ ( E x ∼ G ( z ) D K L ( p ( y ∣ x ) ∥ p ( y ) ) ) \mathrm{IS}=\exp \left(E_{x \sim G(z)} D_{\mathrm{KL}}(p(y \mid x) \| p(y)))\right. IS=exp(Ex∼G(z)DKL(p(y∣x)∥p(y)))
式中的E表示计算期望值， D K L D_{KL} DKL表示计算两分布之间的KL散度;

Lucic等人[79]指出Inception score对类标签的先验分布和距离的度量方式都是不敏感的;

由于生成模型只需在每一个类中生成一个质量很好的图像就可以得到高的IS值,因此该方法也面临无法判别模式崩溃的问题.

IS可以展现出生成图像的质量和多样性之间的合理关联,所以该评估指标在实践应用中被广泛采用.

如表4所示,基于ImageNET数据集和CIFAR-10数据集,用定量评估指标Inception Score对多个模型生成的图像的质量和多样性进行了定量计算.可以发现BigGAN模型是当前性能最好的模型,但是通过比较也发现,该评估指标并不适合评估与ImageNET数据集差别较大的图像数据.

总的来讲,Inception Score是用来衡量生成模型个体特征和整体特征的方法.

个体特征指生成的图像要清晰,质量要好.

整体特征指生成的图像要有多样性,即使他们属于同一类别,他们的输出的向量还是应该有差别.

Frechet Inception Distance

Fréchet Inception Distance[80](FID)的基本思想是用Inception网络的卷积特征层作为一个特征函数φ,

并且用特征函数将真实数据分布 P r P_r Pr和生成数据分布 P g P_g Pg建模为两个多元高斯随机变量.

这样就可以计算多元高斯分布的均值 μ x , μ g μ_x,μ_g μx,μg和方差 ∑ x , ∑ g \sum_{x}, \sum_{\mathrm{g}} ∑x,∑g。基于这些信息,生成图像的质量可以通过式(55)由两个高斯分布之间的Fréchet距离来计算.
FID ⁡ ( X , G ) = ∥ μ x − μ g ∥ 2 2 + Tr ⁡ ( ∑ x + ∑ g − 2 ( ∑ x ∑ g ) 1 2 ) \begin{aligned} &\operatorname{FID}(X, G)=\left\|\mu_{x}-\mu_{g}\right\|_{2}^{2}+ \operatorname{Tr}\left(\sum_{x}+\sum_{g}-2\left(\sum_{x} \sum_{g}\right)^{\frac{1}{2}}\right) \end{aligned} FID(X,G)=∥μx−μg∥22+Tr⎝⎛x∑+g∑−2(x∑g∑)21⎠⎞
FID度量方式的思想和人类判断是一致的,该评价指标值越小,表示生成的图像越接近真实图像,生成的图片质量越好.

FID和生成图像的质量之间有很强的负相关性; ——