GAN之再进化:分布判别器,大连理工提出一种新式无监督图像合成方法
1 前言
该论文是关于GAN图像生成类的文章出自于大连理工大学并发表于CVPR2021。GAN生成能力最关键的一环在于模型利用真实数据的信息量的多少,但是GAN及其相应的变体因为利用的信息量比较单薄,所以会导致模型在训练的过程中非常脆弱,容易导致模型崩塌。
为了解决这个问题,论文中作者提出了一种新的GAN的框架
,不同于以往的GAN的判别器将样本映射为判别真假的概率值,该论文中判别器将输入样本映射成为高斯分布因子,借此充分的提取真实分布信息,作者从理论实验两方面验证了的有效性。论文中的作者还引入了很多个小技巧来文本GAN模型训练的过程。
论文:Posterior Promoted GAN With Distribution Discriminator for Unsupervised Image Synthesi
https://openaccess.thecvf.com/content/CVPR2021/papers/
项目:https://github.com/bioinf-jku/TTUR
论文出自大连理工大学研究团队。
2 预备知识
2.1 LSGAN
与最初的
不同,采用最小二乘法作为损失函数。它惩罚那些远离决策边界的样本,这些样本可以执行更稳定的学习过程。本文中的以的损失函数为基础,其中目标函数为:
其中
是真实图像的分布,是生成图像的分布。和分别表示假数据和真实数据的标签,而表示生成器希望判别器相信假数据的值。
2.2 AdaIN
是针对风格传递提出的,它可以将外部风格的图像信息融合到归一化中。给定第个卷积特征,通过实例归一化对进行归一化,然后使用在样式特征上提供的相应均值和方差对其进行缩放和偏置。该操作被定义为:
在该论文中,作者使用
层将真实信息应用于生成器。
2.3 参数化
参数化技巧主要用在变分推理中梯度下降中,通过得到了多元高斯分布的因子,就可以通过参数化技巧生成该分布的样本。作者从标准高斯
中采样一个随机噪声,然后从特定的多元高斯分布中采样可以是:
其中
和分别是高斯分布的参数。
3 模型方法
由于本论文的数学符号过多,为了能够清晰的辨识,我将论文中的数学符号整理成下表。
如下图所示为
的模型结构图。判别器将图像作为输入,并输出多元高斯分布的因子和。生成器在训练过程中借助于后验模块和从随机噪声和后验向量中产生图像。
3.1 分布度量
假设:
和是通过参数化技巧从两个不同的一维高斯分布和中采样的:,,和之间的最小平方距离为:
其中对于
,如果说距离,则可以认为分布和基本一致。可以将上公式重新简化为:
证明:已知
令
,,则有,进一步可以推知:
如果
,则有,。此时分布与一致,但前提假设是多维高斯分布的每个元素之间时相互独立的。
3.2 后验分布判别器
判别器输出的是后验分布的特征向量
,而不是一个标量的概率数值。多元高斯后验分布的两个因子分别是均值和标准差,其中是,是多元高斯分布的维度。
给定一批图像
,判别器同时输出和,它们表示向量上的高斯后验分布的因子,后验分布可以表示为,其中可以从真实图像分布采样或由分布中生成。
为了构造对抗损失,作者引入了向量
的两个先验分布和,它们是用户给出的多元高斯分布。作者将的损失推广为高斯分布的形式,具体的损失函数表示为:
其中第一项缩短后验分布
和先验分布之间的距离。后验分布和先验分布之间的距离。通过最小化,中的真实信息将被用来促进生成器的生成过程。
3.3 后验分布生成器
生成器输入从标准高斯采样的随机噪声
以及来自后给定真实图像的编码向量,并输出生成的图像。作者利用来稳定生成器的训练,防止训练过程中真实信息的消失,对抗损失函数如下所示:
传统上,生成器接收从标准高斯采样的随机噪声
并用于产生图像,其中是随机噪声的维数。作者基于这个设计出发,在给定的情况下,引入了一个来自于后验判别输出的后验向量,与一起将包含在后验中的真实信息嵌入到生成器的每一层中。
后验模块是相互独立的完全连接的层,没有任何激活功能,如模型结构图所示,它们用于将
映射到对应于不同卷积信道的不同维度的特征。除了在每一层应用真实信息之外,后验模块还提供了根据不同卷积层的需求调整信息:
其中
从中采样,给定,是第个后验模块。作者的方法使用后验特征作为中的外部信息,生成器中使用的层如下:
作者首先利用
对进行归一化,使其具有零均值和单位方差,然后用具有真实信息的的均值和方差对其进行偏置和缩放,最后将后验特征向量和加入到生成器中,以真实图像为样式参考,对生成的图像进行“样式转换”。
因此,
通过改变特征的统计信息将真实信息融合到每一层。为了在训练过程中保留真实信息,作者提出了一个正则化器,它是用于最小化后验给定生成图像和真实图像之间的距离:
其中下标
和用于区分从不同分布和采样的图像。表示绝对值。综上所述,生成器的总的损失函数为:
其中
表示的是平衡系数。
4 理论分析
作者分析了
和-散度之间的关系。给定固定的,可以推导出基于的最优鉴别器:
当
最优时,正则化损失为零。为了分析的最优值,作者将损失改写如下形式:
其中第一项没有
的参数,所以最优值保持不变。为了简单起见,作者在下面的等式中去掉了分布中的,则损失可以重新写成:
进而则有:
其中,项
是相对于变量的,该项可以被视为一个常数值,可以把它排除在的积分之外,进而则有:
如果
,最小化意味着最小化和之间散度。当且仅当时,达到最佳,最优解为:
写成高斯分布的形式为:
5 实验结果
5.1 质量分析
下表给出了CIFAR10和CelebA的FID分数,可以发现
是所有基线中最好的。
下面三幅图为定性结果的展示,
生成的图片如下两幅图所示:
5.2 模块分析
下图表示了论文中
模型的四种设置的结果,该实验证了各个组件模块在中起到的积极的作用。
如下表所示,与使用
相比,使用来标准化会有更高的FID分数。
5.3 收敛性分析
理论收敛分析可以通过检查全局收敛度量来验证,具体公式如下所示:
其中
,如下图所示所示为的训练值,这验证了具有很好的收敛性。
备注:GAN
GAN
生成对抗网络、GAN等技术,
若已为CV君其他账号好友请直接私信。
在看,让更多人看到
GAN之再进化:分布判别器,大连理工提出一种新式无监督图像合成方法相关推荐
- 「GAN优化」小批量判别器如何解决模式崩溃问题
作者 | 小米粥 编辑 | 言有三 1. 模式崩溃的原因 当模式崩溃发生时,生成器 G(z)往往会把很多不同的z均映射成某个x,(更确切地说,指x以及其附近的点,用A表示),接下来更新判别器D(x)后 ...
- 【GAN优化】小批量判别器如何解决模式崩溃问题
GAN的第二季开始更新了,还是熟悉的配方,还是熟悉的味道.第一季更新了12篇小文,只解读了GAN的冰山一角,第二季将作为第一季的"零零星星"的补充,讲解包括其他的损失函数.训练算法 ...
- CVPR2021|ACNet再进化,清华大学旷视科技提出Inception类型的DBB
编辑:Happy 首发:AIWalker 原创文章,未经授权,禁止二次转载 paper: https://arxiv.org/pdf/2103.13425.pdf code: https://gith ...
- 【异常检测】DAGMM:结合深度自编码器器和GMM的端到端无监督网络(二):代码实战(PyTorch)...
作者 | 贝壳er 研究 | 数据挖掘与异常检测 出品 | AI蜗牛车 " 代码部分基于PyTorch1.6.0,使用网络入侵异常检测数据集KDDCUP99来训练和评测,完整代码见:GitH ...
- CVPR 2022 | 大连理工提出自校准照明框架,用于现实场景的微光图像增强
论文标题: Toward Fast, Flexible, and Robust Low-Light Image Enhancement 论文链接: https://arxiv.org/pdf/2204 ...
- O-GAN:简单修改,让GAN的判别器变成一个编码器!
2019-03-08 08:36 作者丨苏剑林 单位丨广州火焰信息科技有限公司 研究方向丨NLP,神经网络 个人主页丨kexue.fm 本文来给大家分享一下笔者最近的一个工作:通过简单地修改原来的 G ...
- UC Berkeley提出变分判别器瓶颈,有效提高对抗学习平衡性
在碎片化阅读充斥眼球的时代,越来越少的人会去关注每篇论文背后的探索和思考. 在这个栏目里,你会快速 get 每篇精选论文的亮点和痛点,时刻紧跟 AI 前沿成果. 点击本文底部的「阅读原文」即刻加入社区 ...
- 大连理工本科生顶会连刷SOTA被爆作弊!AAAI 2022接收后又面临撤稿,一作仍未发声...
视学算法报道 编辑:好困 LRS [新智元导读]AAAI 2022刚要落下帷幕就又被掀起来了!大连理工本科生一作论文中稿,本该是件值得庆祝的事,但有网友发现了论文中的致命漏洞:声称的无监督方法 ...
- ICLR 2021|基于GAN的二维图像无监督三维形状重建
2D GAN知道3D形状吗?基于GAN的二维图像无监督三维形状重建 论文.代码地址:在公众号「计算机视觉工坊」,后台回复「二维图像GAN」,即可直接下载. 摘要: 自然图像是三维物体在二维图像平面上的 ...
最新文章
- R语言包_knitr
- 比特币现金(BCH)独立日一周年庆!里程碑一览!
- php加密手机版_PHP解密支付宝小程序的加密数据、手机号的示例代码
- iphone5新尺寸
- AVA:Netflix的剧照个性化甄选平台
- 字符串替换方法的优劣
- 科技英语翻译计算机化考试,2017年英语四级翻译范文之考公热
- 深度学习Caffe 入门理解使用教程
- python groupby用法_Python 标准库实践之合并字典组成的列表
- A股开盘:深证区块链50指数跌0.08%,概念股跌多涨少
- session理论分析
- 运营前线1:一线运营专家的运营方法、技巧与实践03 与用户沟通,请避免这6个“坑”!...
- php 数据结构set,ES6的Set数据结构是什么
- 深度解析MySQL启动时报“The server quit without updating PID file”错误的原因
- win7 简体中文 旗舰版 种子 永久激活 全在附件
- 区块链随机数-区块链随机数的实现方案
- 汇总15位身份证号和18位身份证号的区别
- 解决百度云下载缓慢问题
- 追寻红色记忆、晋国文明之思考毕业季研学营
- 自动驾驶(三十四)---------可行驶区域检测
热门文章
- 网络爬虫之java基础(Ⅰ)
- 二自由度振动仿真:matlab直接解微分方程virtual.lab motion仿真
- Sublime Text 2报 Decode error - output not utf-8 错误的解决办法
- SpringMVC 使用注解时控制器传参
- Java7并发编程指南——第八章:测试并发应用程序
- mysql 主从备份 全量数据_当主库存在历史数据时如何完成全量Mysql主从复制
- fastreport 横向分栏_FastReport开发指南
- 中运用_钢琴教学中指法的安排与运用
- 小程序分享到朋友圈功能_小程序开发日记 分享到朋友圈
- python中回归拟合图_seaborn库:线性回归拟合图