GAN(1)-生成对抗网络的开山之作

生成对抗网络的开山之作—GAN

1、有监督到无监督

图上方表示监督学习，我们将标记好的数据对传入网络，在标签的作用下监督训练。而很多时候我们提供不了训练数据，这时候神经网络就应该学会自己给数据打标签，自己监督自己训练。图下方就是用对抗网络实现的无监督网络，只需要提供随机变量和真实数据，就能让生成器产生我们想要的图片。
从博弈论的角度去理解，生成器G尽可能的产生逼近真实图片分布的假图片，而判别器D就尽可能的区分图片是来自真实数据还是生成器生成而来，这样二者相互竞争对抗，不断地用对方的梯度去优化自身，知道达到一种理想的平衡状态——纳什均衡。
我们也可以从双层优化的去理解GAN。我们还是看向上图，直观上看，这种有监督到无监督的跨越，可以被认为是由一个神经网络D取代了有监督网络中的静态损失函数（蓝色部分），而经过这种替换，原来对单个网络的优化，就变成了对两个神经网络的双向优化。

2、GAN原理

1）训练过程

黑：真实的数据分布蓝：判别器判断图像来自真实数据分布的概率绿：生成的数据分布 z：噪声 x：噪声z通过生成器学习的分布映射 x = G(z)上图是GAN的训练过程。

a) 为初始状态，生成器生成的分布和真实分布有较大的差异，判别器不稳定。

b）固定生成器，训练判别器，蓝色的判别器判别能力提高，绿色的生成器生成能力不变。

c) 固定判别器，训练生成器，绿色的生成器生成的分布逐渐趋近黑色的真实分布，以迷惑蓝色的判别器。

d) 多次迭代训练，相互对抗，达到那什均衡，判别概率1/2，生成分布拟合于真实分布

2）公式解读：
GAN的训练过程可以看做是一个求解极大极小值的问题，从公式上看，V(D,G)相当于真实样本和生成样本的差异程度。

1）找一个最优的判别器D，能够更好地判别生成的数据分布和真实数据分布的差异。好的判别器，当输入为真实数据时判定为1，即D(x) = 1 ，对假数据判定为0，即D(G(z))=0，所以整体上就是最大化D(x)和1 - D(G(z))，也就是就是固定G，最大化V(D,G)。
2）找一个最优的生成器，使其生成的数据特征分布与真实数据分布更接近。此时，D(G(z))应该等于1，即最大化D(G(z))，最小化1-D(G(z))。整体上就是最小化V(D,G)
3）通过不断地min/max博弈过程，理想情况下生成分布会逼近于真实分布，判别器输出也是1/2，

3、GAN缺点

既然时开山之作，必然存在一些问题：

1）训练困难，很难达到那什均衡。

我们先优化判别器，上式是理论上能到的最小目标值。在近似最优判别器下，最小化生成器的loss等价于最小化Pr和Pg之间的JS散度。当生出分布Pg和真实分布Pr没有重叠或者重叠部分可以忽略时（实际上，当Pr和Pg的支撑集是高维空间中的低维流形时，重叠部分测度为0的概率为1，即二者重叠的概率很低），JS散度是常数log2，最终导致生成器的梯度为0，梯度消失。

2）模式崩溃(model collapse)。

为了避免判别器过好导致梯度消失的问题，重新定义了损失函数，又出现了新的问题：生成器宁可生成一些重复但很安全的样本，也不愿意生成多样性样本，这就是模式崩溃，生成得样本缺乏多样性。
3）由于是利用梯度更新参数，无法用于离散数据（文本）。