Geometric GAN

文章目录

概
主要内容
- McGAN
- 结合SVM
- - 训练ζ\zetaζ
  - 训练gθg_{\theta}gθ
- 理论分析
- - 证明

Jae Hyun Lim, Jong Chul Ye, Geometric GAN.

概

很有趣, GAN的训练过程可以分成

寻找一个超平面区分real和fake;
训练判别器, 使得real和fake分得更开;
训练生成器, 使得real趋向错分一侧.

主要内容

McGAN

本文启发自McGAN, 在此基础上, 有了下文.

结合SVM

设想, GAN的判别器D(x)=S(⟨w,Φζ(x)⟩)D(x) = S(\langle w, \Phi_{\zeta}(x) \rangle)D(x)=S(⟨w,Φζ(x)⟩), 其中SSS是一个激活函数, 常见如sigmoid, 先假设其为identity(即D(x)=⟨w,Φζ(x)⟩D(x)=\langle w, \Phi_{\zeta}(x) \rangleD(x)=⟨w,Φζ(x)⟩).

McGAN 是借助⟨w,Φζ(x)⟩\langle w, \Phi_{\zeta}(x)\rangle⟨w,Φζ(x)⟩来构建IPM, 并通过此来训练GAN. 但是，注意到，若将Φζ(x)\Phi_{\zeta}(x)Φζ(x)视作从xxx中提取出来的特征, 则⟨w,Φζ(x)⟩\langle w, \Phi_{\zeta}(x)\rangle⟨w,Φζ(x)⟩便是利用线性分类器进行分类，那么很自然地可以将SVM引入其中(训练判别器的过程.

min⁡w,b12∥w∥2+C∑i(ξi+ξi′)subjectto⟨w,Φζ(xi)⟩+b≥1−ξii=1,…,n⟨w,Φζ(gθ(zi))⟩+b≤ξi′−1i=1,…,nξi,ξi′≥0,i=1,…,n.\begin{array}{rcl} \min_{w, b} & \frac{1}{2} \|w\|^2 + C \sum_i (\xi_i + \xi_i') & \\ \mathrm{subject \: to} & \langle w, \Phi_{\zeta}(x_i) \rangle + b \ge 1-\xi_i & i=1,\ldots, n\\ & \langle w, \Phi_{\zeta}(g_{\theta}(z_i)) \rangle + b \le \xi_i'-1 & i=1,\ldots,n \\ & \xi_i, \xi_i' \ge 0, \: i=1,\ldots,n. \end{array} minw,bsubjectto21∥w∥2+C∑i(ξi+ξi′)⟨w,Φζ(xi)⟩+b≥1−ξi⟨w,Φζ(gθ(zi))⟩+b≤ξi′−1ξi,ξi′≥0,i=1,…,n.i=1,…,ni=1,…,n

类似于
min⁡w,bRθ(w,b;ζ),(13)\tag{13} \min_{w,b} \: R_{\theta}(w,b;\zeta), w,bminRθ(w,b;ζ),(13)
其中
Rθ(w,b;ζ)=12Cn∥w∥2+1n∑i=1nmax⁡(0,1−⟨w,Φζ(xi)⟩−b)+1n∑i=1nmax⁡(0,1+⟨w,Φζ(gθ(zi))⟩+b).(14)\tag{14} \begin{array}{ll} R_{\theta}(w,b;\zeta) = & \frac{1}{2C n} \|w\|^2 + \frac{1}{n} \sum_{i=1}^n \max (0, 1-\langle w, \Phi_{\zeta} (x_i) \rangle -b) \\ & + \frac{1}{n} \sum_{i=1}^n \max (0, 1+ \langle w, \Phi_{\zeta}(g_{\theta}(z_i))\rangle+b). \end{array} Rθ(w,b;ζ)=2Cn1∥w∥2+n1∑i=1nmax(0,1−⟨w,Φζ(xi)⟩−b)+n1∑i=1nmax(0,1+⟨w,Φζ(gθ(zi))⟩+b).(14)

进一步地，用以训练ζ\zetaζ:
min⁡w,b,ζRθ(w,b;ζ).(15)\tag{15} \min_{w,b,\zeta} \: R_{\theta}(w,b;\zeta). w,b,ζminRθ(w,b;ζ).(15)

SVM关于www有如下最优解
wSVM:=∑i=1nαiΦζ(xi)−∑i=1nβiΦζ(gθ(zi)),w^{SVM} := \sum_{i=1}^n \alpha_i \Phi_{\zeta}(x_i) - \sum_{i=1}^n \beta_i \Phi_{\zeta} (g_{\theta}(z_i)), wSVM:=i=1∑nαiΦζ(xi)−i=1∑nβiΦζ(gθ(zi)),
其中αi,βi\alpha_i, \beta_iαi,βi只有对支持向量非零.

定义
M={ϕ∈Ξ∣∣⟨wSVM,ϕ⟩+b∣≤1}\mathcal{M} = \{\phi \in \Xi | |\langle w^{SVM}, \phi \rangle + b | \le 1\} M={ϕ∈Ξ∣∣⟨wSVM,ϕ⟩+b∣≤1}
为margin上及其内部区域的点.

于是
Rθ(w,b;ζ)=1n∑i=1n⟨wSVM,siΦζ(gθ(zi))−tiΦζ(xi)⟩+constant,(18)\tag{18} \begin{array}{ll} R_{\theta}(w,b;\zeta) = \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, s_i \Phi_{\zeta} (g_{\theta}(z_i))-t_i \Phi_{\zeta}(x_i) \rangle + \mathrm{constant}, \end{array} Rθ(w,b;ζ)=n1∑i=1n⟨wSVM,siΦζ(gθ(zi))−tiΦζ(xi)⟩+constant,(18)
其中
ti={1,Φζ(xi)∈M0,otherwise,si={1,Φζ(gθ(zi))∈M0,otherwise.(19)\tag{19} t_i = \left \{ \begin{array}{ll} 1, & \Phi_{\zeta}(x_i) \in \mathcal{M} \\ 0, & \mathrm{otherwise} \end{array} \right. , \quad s_i = \left \{ \begin{array}{ll} 1, & \Phi_{\zeta}(g_{\theta}(z_i)) \in \mathcal{M}\\ 0, & \mathrm{otherwise}. \end{array} \right. ti={1,0,Φζ(xi)∈Motherwise,si={1,0,Φζ(gθ(zi))∈Motherwise.(19)

训练ζ\zetaζ

于是ζ\zetaζ由此来训练
ζ←ζ+η1n∑i=1n⟨wSVM,ti∇ζΦζ(xi)−si∇ζΦζ(gθ(zi))⟩.\zeta \leftarrow \zeta +\eta \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, t_i \nabla_{\zeta} \Phi_{\zeta}(x_i) - s_i \nabla_{\zeta}\Phi_{\zeta} (g_{\theta}(z_i)) \rangle . ζ←ζ+ηn1i=1∑n⟨wSVM,ti∇ζΦζ(xi)−si∇ζΦζ(gθ(zi))⟩.

训练gθg_{\theta}gθ

就是固定w,b,ζw,b,\zetaw,b,ζ训练θ\thetaθ.

所以
min⁡θLw,b,ζ(θ),\min_{\theta} \: L_{w, b, \zeta}(\theta), θminLw,b,ζ(θ),
其中
Lw,b,ζ(θ)=−1n∑i=1nD(gθ(zi)),L_{w,b,\zeta}(\theta)= -\frac{1}{n} \sum_{i=1}^n D(g_{\theta}(z_i)), Lw,b,ζ(θ)=−n1i=1∑nD(gθ(zi)),
于是
θ←θ+η1n∑i=1n⟨wSVM,si∇θΦζ(gθ(zi))⟩.\theta \leftarrow \theta+\eta \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, s_i \nabla_{\theta}\Phi_{\zeta} (g_{\theta}(z_i)) \rangle . θ←θ+ηn1i=1∑n⟨wSVM,si∇θΦζ(gθ(zi))⟩.

理论分析

n→∞n \rightarrow \inftyn→∞的时候

定理1： 假设(D∗,g∗)(D^*,g^*)(D∗,g∗)是(24), (25)交替最小化解, 则pg∗(x)=px(x)p_{g^*}(x)=p_x(x)pg∗(x)=px(x)几乎处处成立, 此时R(D∗,G∗）=2R(D^*,G^*）=2R(D∗,G∗）=2.

注: 假体最小化是指在固定g∗g^*g∗下, R(D∗,g∗)R(D^*,g^*)R(D∗,g∗)最小，在固定D∗D^*D∗下L(D∗,g∗)L(D^*,g^*)L(D∗,g∗)最小.

证明

注：文中附录分析了各种GAN的超平面分割解释, 挺有意思的.

Geometric GAN相关推荐

简单理解与实验生成对抗网络GAN
from:https://blog.csdn.net/on2way/article/details/72773771 之前 GAN网络是近两年深度学习领域的新秀,火的不行,本文旨在浅显理解传统GAN, ...
一文看尽深度学习中的生成对抗（GAN）网络
参考:<CVHub带你看一看GANs架构发展的8年> 导读生成对抗网络 (Generative Adversarial Networks, GANs) 在过去几年中被广泛地研究,其在图像 ...
Paper之BigGAN：《Large Scale Gan Training For High Fidelity Natural Image Synthesis》翻译与解读
Paper之BigGAN:<Large Scale Gan Training For High Fidelity Natural Image Synthesis>翻译与解读目录效果 1 ...
CVPR2021/邻域自适应/图像翻译-DRANet: Disentangling Representation and Adaptation Networks
CVPR2021/邻域自适应-DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-D ...
Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy（计算机视觉中的GANs:综述与分类）
Abstract: 生成对抗网络(GANs)在过去几年得到了广泛的研究.可以说,他们最重要的影响是在计算机视觉领域,在挑战方面取得了巨大的进步,如可信的图像生成,图像之间的翻译,面部属性操纵和类似领域 ...
【论文学习】《A Survey on Neural Speech Synthesis》
<A Survey on Neural Speech Synthesis>论文学习文章目录 <A Survey on Neural Speech Synthesis>论文学习 ...
当支持向量机遇上神经网络：这项研究揭示了SVM、GAN、Wasserstein距离之间的关系...
选自arXiv 作者:Alexia Jolicoeur-Martineau 编辑:小舟.蛋酱转载自公众号:机器之心 SVM 是机器学习领域的经典算法之一.如果将 SVM 推广到神经网络,会发生什么呢 ...
《预训练周刊》第6期：GAN人脸预训练模型、通过深度生成模型进行蛋白序列设计
No.06 智源社区预训练组预训练研究观点资源活动关于周刊超大规模预训练模型是当前人工智能领域研究的热点,为了帮助研究与工程人员了解这一领域的进展和资讯,智源社区整理了第6期< ...
svm分类代码_当支持向量机遇上神经网络：SVM、GAN距离之间的关系
选自arXiv 作者:Alexia Jolicoeur-Martineau 编辑:小舟.蛋酱 SVM 是机器学习领域的经典算法之一.如果将 SVM 推广到神经网络,会发生什么呢? 支持向量机(Supp ...

Geometric GAN

文章目录

概

主要内容

McGAN

结合SVM

训练ζ\zetaζ

训练gθg_{\theta}gθ

理论分析

证明

Geometric GAN相关推荐

最新文章

热门文章

Geometric GAN

文章目录

概

主要内容

McGAN

结合SVM

训练ζ\zetaζ

训练gθg_{\theta}gθ​

理论分析

证明

Geometric GAN相关推荐

最新文章

热门文章

训练gθg_{\theta}gθ