[解读] Difference-Seeking Generative Adversarial Network

本文提出一种寻找差异的生成式对抗网络(Difference-Seeking Generative Adversarial Network, DSGAN), 与传统的 GAN 不同, 这种网络用来生成未被发现的 (训练集以外的) 样本, 这些样本可以用来帮助半监督学习和新颖性检测以及对抗训练. 注意对这些未被发现的样本的分布不做任何要求.

论文链接: https://openreview.net/forum?id=rygjmpVFvB

本文的方法

首先定义符号. 训练集的分布记为 pdp_dpd, 生成器生成的样本分布记为 pgp_gpg, 假设我们希望生成的看不见的样本分布为 ptp_tpt, 除此以外, 再引入一个中间分布 pdˉp_{\bar{d}}pdˉ, 这个分布是根据具体的应用场景来手动生成的, 例如可以将 pdp_dpd 与正态分布做卷积得到.

然后给出一个表达式:
(1−α)pt(x)+αpd(x)=pdˉ(x)(1-\alpha) p_{t}(x)+\alpha p_{d}(x)=p_{\bar{d}}(x) (1−α)pt(x)+αpd(x)=pdˉ(x)
其中 α∈[0,1]\alpha \in [0,1]α∈[0,1]. 这个表达式可以看成 pdˉ(x)p_{\bar{d}}(x)pdˉ(x) 的分解, 得到 ptp_tpt 和 pdp_dpd. 我们的目标是生成分布 pgp_gpg 能逼近目标分布 ptp_tpt. 即使无法实现 pg=ptp_g=p_tpg=pt, DSGAN 也能够生成分布满足
pg(x)∼pdˉ(x)−αpd(x)1−α.p_{g}(x) \sim \frac{p_{\bar{d}}(x)-\alpha p_{d}(x)}{1-\alpha}. pg(x)∼1−αpdˉ(x)−αpd(x).
传统的鉴别器用于鉴别真实样本和假样本(生成样本), 但是在 DSGAN中, 假样本的定义有所不同, 来自 pdp_dpd 的样本被认为是真实的, 但是来自 pdp_dpd 和 pgp_gpg 之间的混合分布的样本被认为是伪造的.

DSGAN 的优化目标为
V(G,D):=Ex∼pdˉ(x)[log⁡D(x)]+(1−α)Ez∼pz(z)[log⁡(1−D(G(z)))]+αEx∼pd(x)[log⁡(1−D(x))]V(G, D):=\mathbb{E}_{x \sim p_{\bar{d}}(x)}[\log D(x)]+(1-\alpha) \mathbb{E}_{z \sim p_{z}(z)}[\log (1-D(G(z)))]\\+\alpha \mathbb{E}_{x \sim p_{d}(x)}[\log (1-D(x))] V(G,D):=Ex∼pdˉ(x)[logD(x)]+(1−α)Ez∼pz(z)[log(1−D(G(z)))]+αEx∼pd(x)[log(1−D(x))]

参考

Zihang Dai, Zhilin Yang, Fan Yang, William W Cohen, and Ruslan R Salakhutdinov. Good semi-supervised learning that requires a bad gan. In NIPS, pp. 6510–6520. 2017.
Y. Yu, W.-Y. Qu, N. Li, and Z. Guo. Open-category classification by adversarial sample generation. In IJCAI, pp. 3357–3363, 2017.
I. Goodfellow, J. Shlens, and C. Szegedy. Explaining and harnessing adversarial examples. In ICLR, 2015.

[解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation相关推荐

【李宏毅2020 ML/DL】P82 Generative Adversarial Network | Improving Sequence Generation by GAN
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 这是我的李宏毅老师 GAN 系列第9篇笔记,GAN 系列: 1:Basic Idea 2:Conditiona ...
【李宏毅2020 ML/DL】P76 Generative Adversarial Network | Unsupervised Conditional Generation
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 这是我的李宏毅老师 GAN 系列第3篇笔记,GAN 系列: 1:Basic Idea 2:Conditiona ...
【论文翻译】中英对照翻译--（Attentive Generative Adversarial Network for Raindrop Removal from A Single Image）
[开始时间]2018.10.08 [完成时间]2018.10.09 [论文翻译]Attentive GAN论文中英对照翻译--(Attentive Generative Adversarial Net ...
Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network
模式崩溃是cGAN较为重要的问题,以往工作大多数都致力于关注latent code和生成图像之间的关系而没有关注通过不同latent code生成的图像之间的关系.MSGAN(mode seeking ...
Yet Another Text Captcha Solver: A Generative Adversarial Network Based Approach
目的 Identification text verification code 摘要 Despite several attacks have been proposed, text-based C ...
生成对抗网络（GAN，Generative Adversarial Network）介绍
生成对抗网络(GAN,Generative Adversarial Network)介绍 flyfish 在无监督学习中,最近的突破有哪些? 看一个GAN的应用第一张图是用GAN将一副古代女子的画像 ...
GAN（Generative Adversarial Network，GAN）模型应用
GAN(Generative Adversarial Network,GAN)模型人脸应用目录 GAN(Generative Adversarial Network,GAN)模型人脸应用人脸重构: ...
GAN（Generative Adversarial Network，GAN）模型之：SeqGAN、IRGAN、StackGAN、BigBiGAN、GAIN模型
GAN(Generative Adversarial Network,GAN)模型之:SeqGAN.IRGAN.StackGAN.BigBiGAN.GAIN模型目录 GAN(Generative A ...

[解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation

相关的工作

本文的方法

参考

[解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation相关推荐

最新文章

热门文章