LSGANs ： Least Squares GAN（最小二乘GAN）--解决标准GAN生成的图片质量不高以及训练过程不稳定问题
LSGANs基本思想
LSGANs的英文全称是Least Squares GANs。这篇文章针对的是标准GAN生成的图片质量不高以及训练过程不稳定这两个缺陷进行改进。改进方法就是将GAN的目标函数由交叉熵损失换成最小二乘损失，而且这一个改变同时解决了两个缺陷。
为什么最小二乘损失可以提高生成图片质量？
我们知道，GANs包含两个部分：判别器和生成器。判别器用于判断一张图片是来自真实数据还是生成器，要尽可能地给出准确判断；生成器用于生成图片，并且生成的图片要尽可能地混淆判别器。
本文作者认为以交叉熵作为损失，会使得生成器不会再优化那些被判别器识别为真实图片的生成图片，即使这些生成图片距离判别器的决策边界仍然很远，也就是距真实数据比较远。这意味着生成器的生成图片质量并不高。为什么生成器不再优化优化生成图片呢？是因为生成器已经完成我们为它设定的目标——尽可能地混淆判别器，所以交叉熵损失已经很小了。而最小二乘就不一样了，要想最小二乘损失比较小，在混淆判别器的前提下还得让生成器把距离决策边界比较远的生成图片拉向决策边界。这一段总结起来就是图1：
补充：作者是把决策边界作为中介，认为生成图片和真实数据之间的距离可以由生成图片和决策边界之间的距离来反映。这是因为学到的决策边界必须穿过真实数据点，否则就是学习过程饱和了。在未来工作中作者也提到可以改进的一点就是直接把生成图片拉向真实数据，而不是拉向决策边界。
为什么最小二乘损失可以使得GAN的训练更稳定呢？
作者对这一点介绍的并不是很详细，只是说sigmoid交叉熵损失很容易就达到饱和状态（饱和是指梯度为0），而最小二乘损失只在一点达到饱和，如图2所示：
LSGANs的损失函数表达式
最小二乘损失函数：
最小二乘GAN中判别器最后没有sigmoid层，那判别器输出的分数就不再是0和1之间的，即输入一张图片进入判别器，输出的分数不一定位于0和1之间，可能是任何值。 但对于交叉熵损失函数，判别器最后一层是sigmoid，这样判别器输出的分数就位于0和1之间。
原文链接：https://blog.csdn.net/victoriaw/article/details/60755698
LSGANs ： Least Squares GAN（最小二乘GAN）--解决标准GAN生成的图片质量不高以及训练过程不稳定问题相关推荐
- GAN属于计算机视觉领域嘛_GAN生成图像综述
作者信息: YTimo PKU EECS 研究方向:深度学习,计算机视觉 原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的. 其它机器学习.深度学习算法的全面系统讲 ...
- 【GAN优化】解决模式崩溃的两条思路：改进优化和网络架构
今天讲述的内容仍然是GAN中的模式崩溃问题,首先将说明模式崩溃问题的本质,并介绍两种解决模式崩溃问题的思路,然后将介绍一种简单而有效的解决方案MAD-GAN,最后一部分将给出MAD-GAN的强化版本M ...
- 令人拍案叫绝的 Wasserstein GAN，彻底解决GAN训练不稳定问题
[新智元导读] 本文详细解析了最近在 reddit 的 Machine Learning 版引起热烈讨论的一篇论文Wassertein GAN,该论文提出的 WGAN 相比原始 GAN 的算法实现流程 ...
- 【GAN优化】详解GAN中的一致优化问题
GAN的训练是一个很难解决的问题,上期其实只介绍了一些基本的动力学概念以及与GAN的结合,并没有进行过多的深入.动力学是一门比较成熟的学科,有很多非常有用的结论,我们将尝试将其用在GAN上,来得到一些 ...
- 【GAN优化】GAN优化专栏上线，首谈生成模型与GAN基础
大家好,今天小米粥在有三AI开设新专栏<GAN的优化>.在这个专栏中,我们会讲述GAN的相关背景.基本原理.优化等相关理论,尤其是侧重于GAN目标函数的优化.小米粥和有三将带领大家从零学起 ...
- Github项目推荐|可视化 GAN 的训练过程
点击上方"算法猿的成长",关注公众号,选择加"星标"或"置顶" 总第 137 篇文章,本文大约 1000 字,阅读大约需要 5 分钟 今天介 ...
- [人工智能-深度学习-63]：生成对抗网络GAN - 图片创作：普通GAN, pix2pix, CycleGAN和pix2pixHD的演变过程
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客 本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
- 【GAN】是什么让GAN成为了这5年里深度学习领域最亮的崽？
在游戏.VR领域 颠覆传统人类美工的工作方式 生成全真实的场景 GAN说:"我能行!" VR场景 在电影.视频领域 使全虚拟演员.偶像成为可能 一种全新的感觉和体验 GAN说:&q ...
- 详解StyleGAN进化过程！看GAN如何一步步控制图像生成风格？
点击上方"码农突围",马上关注 这里是码农充电第一站,回复"666",获取一份专属大礼包 真爱,请设置"星标"或点个"在看&quo ...
最新文章
- 【斗医】【10】Web应用开发20天
- 【leetcode】1007. Minimum Domino Rotations For Equal Row
- jQuery 操作DOM总结,DOM Core操作,HTML-DOM操作和CSS-DOM操作
- vscode 设置断点知乎_vscode 代码自动换行设置
- eclipse git提交代码_来看看大厂的Git提交规范，千万别乱提交代码哦...
- 红象云腾发布新一代PB级高速大数据平台产品
- python后端开发学什么_零基础学Python，这是阿里Python8年开发经验写给你的学习路线图...
- 文件件服务器,文件件服务器
- updatedb命令
- 【java】getWriter() has already been called for this
- 小米路由器3g改无线打印机服务器,小米路由器3G怎么设置？
- 微软服务器工程师认证,微软认证的系统工程师(MCSE)
- 汇编语言aaa指令解析,aas指令解析
- OpenCV 3 image shape - size - dtype
- 修改音频采样率和单双通道
- 行尸走肉第一季/全集The Walking Dead迅雷下载
- Win10 C盘清理的技巧，将C盘中除Windows外的所有系统文件夹移到C盘之外，节约大部分C盘空间
- tooth的用法_tooth的复数形式
- 把自己曾经写的一个客户间聊天的程序与大家分享(2)
- 前后端分别部署教程 ---- 第三部分项目部署和挂载到微信公众号