帮助理解GAN的一些补充内容

熵的本质是香农信息量（log1p\frac{1}{p}p1），其中p表示信息确定性的概率。
信息熵即为信源不确定均值H(u)=E[−logPi]=−∑i=1npilogpiH(u)=E[-logP_i]=-\sum_{i=1}^{n}p_{i}logp_{i}H(u)=E[−logPi]=−∑i=1npilogpi
特点：根据非真实分布q得到的平均编码长度H(p,q)大于根据真实分布得到的平均编码长度H§，实际上H(p,q)>=H§恒成立
相对熵：由q得到的平均编码长度比由p得到的平均编码长度多出来的位就是相对熵D(p∣∣q)=H(p,q)−H(p)=∑ip(i)∗logp(i)q(i)D(p||q)= H(p,q) - H(p) =\sum_{i}p(i)*log\frac{p(i)}{q(i)}D(p∣∣q)=H(p,q)−H(p)=∑ip(i)∗logq(i)p(i)，又称为KL散度
GAN产生训练不稳定的原因：g(z)至多产生的维度为dim(z)，如果dim(z)<dim(x)dim(z)<dim(x)dim(z)<dim(x)，则g(z)在x中的测度会非常小，也即它只能产生一个平面中的一条线（个人理解，详情可参考上一篇文章），所以如果g的输入维数比产生图像的维数低，那么它能产生的也只是一个零测集，当PrP_{r}Pr的支撑集和PgP_{g}Pg没有交集时，当D最优时，就会使G的梯度变得非常不稳定。
WGAN训练，采用SGD或RMSProp算法较好，一般不采用基于momentum的算法（如Adam），会导致训练变得不稳定，DCGAN采用Adam效果会比较好

帮助理解GAN的一些补充内容相关推荐

【体系结构】有关Oracle SCN知识点的整理--补充内容
[体系结构]有关Oracle SCN知识点的整理--补充内容小麦苗自己整理的内容参考:[体系结构]有关Oracle SCN知识点的整理 http://blog.itpub.net/26736162 ...
大规模视频内容理解：淘宝视频内容标签的结构化分析和管理
关注公众号,发现CV技术之美本文转载自淘系技术. 淘宝视频是如何分类的?又是如何保持不同类别视频样本得到相对均衡?又是如何应用的? 背景介绍随着5G时代的到来,视频内容形态迸发出勃勃生机,各大短视 ...
第二十五章补充内容 3 assert()宏
//第二十五章补充内容 3 assert()宏 //有的编译器还提供了assert()宏,这个宏在许多书中被翻译为断言,它的作用是当assert()的参数为真时,返回真,假如参数值为假,那么它将执行某 ...
第二十五章补充内容 5 不能为0的变量
// 第二十五章补充内容 5 不能为0的变量 /*#define DEBUG #include <iostream> #include <string> using names ...
『TensorFlow』通过代码理解gan网络_中
『cs231n』通过代码理解gan网络&tensorflow共享变量机制_上上篇是一个尝试生成minist手写体数据的简单GAN网络,之前有介绍过,图片维度是28*28*1,生成器的上采样使 ...
【推荐实践】Hulu-视频理解在个性化推荐与内容发现中的应用.pdf(附下载链接)...
今天给大家分享Hulu谢晓辉先生在CTA核心技术及应用峰会上做的分享<视频理解在个性化推荐与内容发现中的应用>,该分享包含如下三大部分,希望对您有用. 1.About Hulu and i ...
【汇编语言与计算机系统结构笔记20】补充内容：可定制处理器指令集
本次笔记内容: 31.补充内容--可定制处理器指令集-1 32.补充内容--可定制处理器指令集-2 注:我找到了对应内容的课件,请见我于GitHub的CS笔记仓库. 本节课对应幻灯片:汇编语言程序设计 ...
app自动化测试appium教程之番外1——进阶补充内容
app自动化测试appium教程之番外1--进阶补充内容混合app测试 1. 打开app内webview debug模式 2. 验证是否为混合app 3. 切换至H5页面 4. 切回原生app 5. ...
Java爬虫系列(五) - 爬虫补充内容+ElasticSearch展示数据
Java爬虫内容补充和ElasticSearch 网页去重之前我们对下载的url地址进行了去重操作,避免同样的url下载多次.其实不光url需要去重,我们对下载的内容也需要去重. 在网上我们可以找到 ...

帮助理解GAN的一些补充内容

帮助理解GAN的一些补充内容相关推荐

最新文章

热门文章