Training generative adversarial networks with limited data.
Karras, Tero, et al.Training generative adversarial networks with limited data.(2020).
用有限的数据生成对抗式网络GAN
stylegan2-ada
TAT
毕设选题之一的MRI自监督，用GAN去进行数据增广
参考论文 又是硬着头皮啃的一天
看的时候很痛苦，看完没懂，有机会再看一遍
介绍
现代高质量 GAN 模型需要获取、处理和训练百万张到千万张图像，这是一项成本高昂的工作。这同时抑制了生成模型在医学等领域的使用, 例如MRI核磁共振图像的获取既昂贵又耗时，其数据相对稀缺。
数据数量过少会导致模型过拟合，在深度学习的几乎所有领域中，防止过度拟合的标准解决方案是增强数据集。在旋转、噪声等条件下训练图像分类器会导致增益泄露到生成器。例如，噪声增强会导致数据中增加嘈杂的结果。
作者在文中使用广泛的增强来防止判别器过度拟合，同时确保没有任何的增益泄漏到生成的图像中。
首先对防止增益泄漏的条件进行全面分析。
然后，设计了一组多样化的增强和自适应控制方案。
GAN的过拟合
作者进行了对比实验，图a表示了数据越少过拟合转折点越早。图 b、c 显示了训练期间真实图像和生成图像的判别器输出分布。最初是重叠分布的，但随着训练进度，它们会逐渐分开。而红色虚线表示模型开始表现出过度拟合的强烈迹象。
作者提出了一种解决这个问题的方法，即通过使用多种增强功能来阻止判别器变得过于自信。
随机判别器增广
应用于训练数据集的任何增强都将继承到生成的图像上。【定义】
平衡正则化一致性 (bCR) 不会将增益泄漏到生成的图像中。
正则化一致性指出了，应用于同一输入图像的两组增强应该产生相同的输出。
为判别器的损失函数添加正则化一致性，将判别器一致性强制使用在真实图像和生成图像中，在训练生成器时，则不应用增强或一致性损失项。
作者的解决方案与 bCR 类似，他们也对判别器的所有图像应用了一组增强。但是，没有添加单独的 CR 损失项，而是仅使用增广过的图像去评估判别器，并且在训练生成器时也这样做，这个方法被研究人员称为随机判别器增广。2c表达了如果判别器从未看到训练图像的真实情况，则不清楚它是否可以正确引导生成器。
设计不会泄露的增强方式
考虑了类似于在损坏测量下训练 GAN 的问题，并表明只要腐蚀过程由数据空间上的概率分布的可逆变换表示，训练就可以隐式 undo 损坏并找到正确的分布。作者称这种增强操作是非泄漏的。
可逆的变换是指，仅通增广集，便能识别出哪些是真实的数据。
是从数据分布角度上的可逆，而非图像变换上的可逆。
如果用数据增广把90%的数据变成纯黑，我们仍然一眼能看出哪些数据是真实的，即使变黑的操作不可逆。
但是，从{0°,90°,180°,270°}中均匀选择的随机旋转是不可逆的，即在增强后无法辨别方向之间的差异，即不确定哪个角度是正确的。
作者进行了三种对比实验：
a 缩放 b 旋转90度 c 色彩变换
该实验表明，只要保持旋转概率p 在0.8以下，实际中就不太可能发生泄漏。
此外以固定顺序组合的非泄漏增广方式会产生整体非泄漏增广。
在训练期间，作者以固定顺序使用一组预定义的转换处理显示给判别器的每个图像。增强的强度由 scalar p∈[0,1] 控制，因此每个变换的应用概率为 p 或者跳过概率 1−p。 作者经常选择对所有转换使用相同的 p 值。随机化是针对每个增强和小批量中的每个图像单独完成的。鉴于pipeline中有许多增强，即使 p 的相当小的值也使得判别器不太可能看到干净的图像（图 2c）。尽管如此，只要保持旋转概率在实际安全限制以下，生成器就会被引导只生成干净的图像。
最佳增广强度在很大程度上取决于训练数据的数量，具体问题具体分析。
自适应判别器增广
作者通过控制增强强度p。将 p 初始化为零并根据选择的过拟合启发式每四个小批量调整一次其值。如果启发式表明过/欠拟合，通过增加/减少固定数量来应对。
设置了调整大小，使 p 可以迅速从 0 上升到 1。在每一步之后，我们固定住p从下到 0。
这个策略称之为自适应鉴别器增强（ADA）
各种实验
从头训练
转移学习
小数据集
结论
当训练数据短缺时，自适应判别器增广可靠地稳定了训练并大大提高了结果质量。
当然，增强并不能替代真实数据，人们应该始终首先尝试收集大量高质量的训练数据，然后才使用增强来填补空白。
最近发布的
U-net判别器 ：
E. Schönfeld, B. Schiele, and A. Khoreva. A U-net based discriminator for generative adversarial networks.CoRR, abs/2002.12655, 2020.
多模态生成器：
O. Sendik, D. Lischinski, and D. Cohen-Or. Unsupervised multi-modal styled content generation.CoRR,abs/2001.03640, 2020.
词汇
adaptive discriminator augmentation(ADA)
balanced consistency regularization (bCR) 平衡正则化一致性
consistency regularization 正则化一致性
corruption process 腐蚀过程
corrupted measurements 损坏测量
clamp 钳
stochastic discriminator augmentation 随机判别器增强
invertible transformation 可逆变换
implicitly 隐式
overfitting heuristic 过拟合启发式
Training generative adversarial networks with limited data.相关推荐
- Training Generative Adversarial Networks with Limited Data
Profile 四大生成模型之一的 GAN 由一对生成器 G 和鉴别器 D 构成. 以图像生成为
- StyleGan2-ADA: Training Generative Adversarial Networks with Limited Data
训练一个GAN模型,通常需要比较多的数据(ffhq是7万),数据量少的话会导致判别器过拟合,回传的梯度无意义,从而导致生成器停止学习或崩掉.GAN本质上就是通过判别器找到生成图与真实图差异的部分,通过 ...
- 【每日论文】GenCo: Generative Co-training for Generative Adversarial Networks with Limited Data
研究背景: 1. 当前生成对抗网络在许多图像任务中取得了不错的效果,但是需要大量的训练数据: 2. 目前关于小数据集的训练存在判别器容易过拟合的问题: 创新点: 该论文主要对有限数据集训练下容易导致判 ...
- MAD-GAN: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks
MAD-GAN: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks 文章 ...
- ESRGAN - Enhanced Super-Resolution Generative Adversarial Networks论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! 翻译论文汇总:https://github.com ...
- 生成式对抗网络Generative Adversarial Networks(GANs)
1. 前言 2. 参考资料 3. 研究背景 4. GAN的框架 4.1 对抗框架(Adeversarial Nets) *关于"无监督学习"的说明 4.2 Minimax two- ...
- 论文翻译：2019_Bandwidth Extension On Raw Audio Via Generative Adversarial Networks
论文地址:原始音频的带宽扩展通过生成对抗网络 博客作者:凌逆战 博客地址:https://www.cnblogs.com/LXP-Never/p/10661950.html 摘要 基于神经网络的方法最 ...
- 生成对抗网络（Generative Adversarial Networks，GAN）初探
1. 从纳什均衡(Nash equilibrium)说起 我们先来 看看纳什均衡的经济学定义: 所谓纳什均衡,指的是参与人的这样一种策略组合,在该策略组合上,任何参与人单独改变策略都不会得到好处.换句 ...
- GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Networks论文翻译以及理解
GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Networks论文翻译以及理解 格式:一段英文,一段中 ...
最新文章
- Qt中 QString 和int，double等的转换
- Python Django列表渲染for的使用
- android多媒体编程题库,android 仿猿题库答题UI
- explain 之 id
- 【 CodeForces - 799A 】Carrot Cakes（模拟，细节，有坑）
- 跳槽，你的工作经验货真价实吗？
- 连Python都不熟也能跑通AI人脸识别？“隐藏Boss”竟是它！
- Javascript中 != 和 !==的区别
- Java之switch的控制语句详解
- php前台怎么显示图片,长沙培训php开发(php怎么显示图片)
- echarts如何画地图
- 安装与卸载应用程序 （Package Installer）
- 黑马程序员—-C语言入门十重奏之十renascence
- 洛谷：P1653 猴子（图存储、逆向思维 删边 --＞加边）
- 未使用计算机的信息处理工具,最好的电脑使用痕迹清理软件
- DIY多快充协议太阳能充电器！----快充协议实现原理
- opencv-之图像细化（直线细化）
- MATLAB学习笔记一：基础知识
- 互融云|融资担保行业发展新要求：加快数字化转型 以增强服务实体经济
- 旋转矢量（法向量）转化欧拉角