我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

这是我的李宏毅老师 GAN 系列第10篇笔记，GAN 系列：

1：Basic Idea
2：Conditional GAN
3：Unsupervised Conditional Generation
4：Theory behind GAN
5：fGAN: General Framework of GAN
6：Tips for improving GAN
7：Feature Extraction
8：Intelligent Photo Editing
9：Improving Sequence Generation by GAN

本节内容综述

本节是李老师讲的 GAN 的最后一节课。有没有什么客观的方法来衡量产生的 object 好不好。无法使用传统的 likelihood 查看好坏。
可以使用 Kernel Density Estimation 的方法。但是，用 likelihood 本来就正确，见 Likelihood v.s. Quality 。
可以参考分类问题，见 Objective Evaluation 。由此引出的指标叫做 Inception Score 。
此外，我们还需要讨论生成结果的多样性，见 Mode Dropping 。
简单讲一下 Mini-batch Discriminator 与 Optimal Transport GAN (OTGAN)。
最后，李老师对 GAN 下了一些结论（其实是完了一个说名字的小游戏，哈哈）。见 Concluding Remarks 。

文章目录

本节内容综述
小细节
- Kernel Density Estimation
- - Likelihood v.s. Quality
- Objective Evaluation
- - Inception Score
  - We don't want to memory GAN.
  - Mode Dropping
- Mini-batch Discriminator
- Concluding Remarks: from A to Z

小细节

Kernel Density Estimation

如上，用 G 产生的数据，用几个高斯混合模型去接近。与真是数据分布进行对比。

Likelihood v.s. Quality

如上，可能会有低的 likelihood ，但实际上其质量是很高的；而也有可能绝大部分图片是糊的，但是其带来的分数损失可能很小（如上，只有 -4.6）。

Objective Evaluation

如上，使用分类器判断，这是不是某一个具体的事物；还可以输入一大把数据，我们期望得到的数据类别是服从平均分布的。

Inception Score

如上，我们用如上公式来衡量我们之前讲到的两个指标。

We don’t want to memory GAN.

如上，只算像素图片之间的相似度，其实是不够的。如上的每条线代表相似度。如果将原图片向左移动2格以上，其最像的图片就变成了绿色那张图片。

Mode Dropping

此外，我们需要衡量产生的个体的“多样性”。如上，如果采样 400 张图片（在 DCGAN）中，会有 50% 的几率有相同的“人”。

Mini-batch Discriminator

如上，让 D 看“一把图”，判断真假。

如上，对于 Optimal Transport GAN 也是同理。

Concluding Remarks: from A to Z

A to Z 英文是“从头到尾”的意思，但是这里，其实只是比谁能说出来的 GAN 的名字多，哈哈。

如上，复习了我们讲过的 GAN 。

(老师之前提到不讲的 GAN 都想凑这个游戏哈哈哈哈。

【李宏毅2020 ML/DL】P83 Generative Adversarial Network | Evaluation相关推荐

【李宏毅2020 ML/DL】P1 introduction
[李宏毅2020 ML/DL]P1 introduction 本节主要介绍了 DL 的15个作业英文大意 Regression: 回归分析 Classification: 分类 RNN: 循环神经网 ...
【李宏毅2020 ML/DL】P86-87 More about Domain Adaptation
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 本节内容综述本节课由助教 Chao Brian 讲解. 首先讲解些领域适配的基础内容,包括名词.定义等. 接 ...
【李宏毅2020 ML/DL】P59 Unsupervised Learning - Auto-encoder
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
【李宏毅2020 ML/DL】P14 Tips for training DNN | 激活函数、Maxout、正则、剪枝 Dropout
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...
【李宏毅2020 ML/DL】P58 Unsupervised Learning - Neighbor Embedding | LLE, t-SNE
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
【李宏毅2020 ML/DL】P15 Why Deep-
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐): https://github.com/Sakura-gh/ML-not ...
李宏毅svm_李宏毅2020 ML/DL补充Structured Learning Structured SVM
李宏毅2020 ML/DL补充Structured Learning Structured SVM [李宏毅2020 ML/DL]补充:Structured Learning: Structured ...
【李宏毅2020 ML/DL】P60-61 Unsupervised Learning - Deep Generative Model
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
【李宏毅2020 ML/DL】P80 Generative Adversarial Network | Feature Extraction
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 这是我的李宏毅老师 GAN 系列第7篇笔记,GAN 系列: 1:Basic Idea 2:Conditiona ...

【李宏毅2020 ML/DL】P83 Generative Adversarial Network | Evaluation