GAN

学习参考

目的

GAN是由Ian Goodfellow于2014年首次提出，学习GAN的初衷，即生成不存在于真实世界的数据。类似于AI具有创造力和想象力。
GAN有两个非常重要的网络（生成器（Generator）和判别器（Discriminator））

训练过程

GAN的训练在同一轮梯度反转的过程中可以细分为2步：(1)先训练D；(2)再训练G。注意，不是等所有的D训练好了才开始训练G，因为D的训练也需要上一轮梯度反转中的G的输出值作为输入。

当训练D的时候：上一轮G产生的图片和真实图片，直接拼接在一起作为x。然后按顺序摆放成0和1，假图对应0，真图对应1。然后就可以通过D，x输入生成一个score（从0到1之间的数），通过score和y组成的损失函数，就可以进行梯度反传了。

当训练G的时候：需要把G和D当作一个整体，这里取名叫做’D_on_G’。这个整体(简称DG系统)的输出仍然是score。输入一组随机向量z，就可以在G生成一张图，通过D对生成的这张图进行打分得到score，这就是DG系统的前向过程。score=1就是DG系统需要优化的目标，score和y=1之间的差异可以组成损失函数，然后可以采用反向传播梯度。注意，这里的D的参数是不可训练的。这样就能保证G的训练是符合D的打分标准的。这就好比：如果你参加考试，你别指望能改变老师的评分标准。

优化目标

整个式子由两项构成。x表示真实图片, z表示输入G网络的噪声,而G(z)表示G网络生成的图片。
D(x)表示D网络判断真实图片是否真实的概率(因为x就是真实的，所以对于D来说,这个值越接近1越好)。而D(G(z))是D网络判断G生成的图片的是否真实的概率。
G的目的: G应该希望自己生成的图片“越接近真实越好”。
D的目的: D的能力越强, D(x)应该越大, D(G(x))应该越小。这时V(D,G)会变大。因此式子对于D来说是求最大(max_D)
trick :为了前期加快训练,生成器的训练可以把log(1-D(G())换成-log(D(G(Z))
注：后续更新优化目标的推导

GAN应用

目的

通过GAN来学习实例之间的相似性。实现流行特征挖掘。？

步骤

挖掘与Anchor（锚点）相似的实例。
第一步：先分别从正负数据集中采样(Instance Sampling);
第二步：将三个图片分别通过CNN进行特征提取，然后拼接成新向量。
第三步：将第二步产生的向量通过生成器来生成一个Proxy（代理），然后通过辨别器来判断其类别（0或1）
第四步：若Proxy为正，则在以Proxy为圆点， r r r 为半径的领域范围内寻找相似的其它负样本，并将他放在所对应正样本中，相反，负样本中的样本对应减少。

小结

GAN的目的是为了获得一个良好的生成器，因此，在许多分类任务中并不常用。这篇文章将GAN网络作为一个生成Proxy和判断其类别的步骤来实现了流行特征挖掘。

生成对抗式网络 (GAN) 及其应用相关推荐

生成对抗式网络 GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN等原理介绍、应用介绍及简单Tensorflow实现
生成式对抗网络(GAN,Generative Adversarial Networks)是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一.学界大牛Yann Lecun 曾说,令他最激 ...
生成对抗式网络 GAN及其衍生CGAN、DCGAN、WGAN、LSGAN、BEGAN介绍
一.GAN原理介绍学习GAN的第一篇论文当然由是 Ian Goodfellow 于2014年发表的 Generative Adversarial Networks(论文下载链接arxiv:[http ...
【深度学习】GAN生成对抗式网络原理
生成模型和判别模型理解对抗网络,首先要了解生成模型和判别模型.判别模型比较好理解,就像分类一样,有一个判别界限,通过这个判别界限去区分样本.从概率角度分析就是获得样本x属于类别y的概率,是一个条件概 ...
基于自注意力的生成对抗归因网络的交通流缺失数据修复
文章信息 <Missing Data Repairs for Traffic Flow With Self-Attention Generative Adversarial Imputation ...
对抗性神经网络百度百科,生成对抗式神经网络
深度学习什么是对抗式神经网络? 对抗式神经网络GAN让机器学会"左右互搏"GAN网络的原理本质上就是这两篇小说中主人公练功的人工智能或机器学习版本. 一个网络中有两个角色,修炼的过 ...
pytorch复现经典生成对抗式的超分辨率网络
论文原文:Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 论文的中文翻译:翻译 ...
生成式模型生成对抗网络——资料梳理（专访资料 + 论文分类）
转载自:http://blog.csdn.net/solomon1558/article/details/52338052 文献整理题目主要内容 ...
资源 | 《GAN实战：生成对抗网络深度学习》牛津大学Jakub著作（附下载）
来源:专知本文共1000字,建议阅读5分钟. 本书囊括了关于GAN的定义.训练.变体等,是关于GAN的最好的书籍之一. [ 导读 ]生成式对抗网络模型(GAN)是基于深度学习的一种强大的生成模型,可 ...

生成对抗式网络 (GAN) 及其应用

GAN

目的

训练过程

优化目标

GAN应用

目的

步骤

小结

生成对抗式网络 (GAN) 及其应用相关推荐

最新文章

热门文章