交叉熵理解深度学习互信息

20211017

互信息是相对熵的更宽泛的特殊情形，通常将互信息最大化就是将两个随
机事件的相关性最大化，在机器学习中，理想情况下，互信息最大，就相当于
模型训练过后拟合出来的概率分布已经等同于真实的概率分布。

20210614

H(x):先验概率
H(x |y):后验概率
考察x ,y之间的依赖关系
如果二者独立这式子的结果为0 y的发生对x的发生没有影响 H(x)-H(x)=0
如果影响很大,H(x|y) 因为y的加入是的 x的不确定性减小使得 H(x)-H(x|y) 的值增大
H(x) 熵表示事物不确定性的程度越确定值越小

1.信息量
2.熵是信息量的期望
3.散度两个分布越接近散度值越小右边的每一项都接近于1
4.单标签多分类一张图片同时只能是一种判别的可能
5.多标签多分类一张图片同时可以是多种判别的可能
6.上面四五点二者的公式是不一样的

https://www.zhihu.com/question/65288314/answer/244557337
https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence
https://jamesmccaffrey.wordpress.com/2013/11/05/why-you-should-use-cross-entropy-error-instead-of-classification-error-or-mean-squared-error-for-neural-network-classifier-training/

实际应用中本质上是用的散度衡量两个分布的相似度,只是因为前部相同就只用了后半部的交叉熵

交叉熵理解深度学习互信息相关推荐

深入理解深度学习——BERT派生模型：SpanBERT（Improving Pre-training by Representing and Predicting Spans）
分类目录:<深入理解深度学习>总目录 MLM训练方法是BERT拥有自然语言理解能力的核心训练方法.然而,BERT在预训练过程中挑选掩码词的概率是独立计算的,即BERT掩码词的粒度是最小的, ...
深入理解深度学习——Transformer：整合编码器（Encoder）和解码器Decoder）
分类目录:<深入理解深度学习>总目录相关文章: ·注意力机制(Attention Mechanism):基础知识 ·注意力机制(Attention Mechanism):注意力汇聚与Na ...
python交叉熵损失函数实现_Softmax和交叉熵的深度解析和Python实现
原标题:Softmax和交叉熵的深度解析和Python实现作者 | PARAS DAHAL 译者 | zzq [导读]如果你稍微了解一点深度学习的知识或者看过深度学习的在线课程,你就一定知道最基础的 ...
深入理解深度学习——BERT派生模型：XLM（Cross-lingual Language Model）
分类目录:<深入理解深度学习>总目录 BERT本应在语义理解上具有绝对优势,但其训练语料均为英语单语,受限于此,早期的BERT只在英语文本理解上有优势.随着全球化进程的加速,跨语言的预训练 ...
由线性回归来理解深度学习的理论基础
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达这会是一篇比较长的文章,本来应该是分几次来po,但考虑到这个话题的 ...
干货合集 | 带你深入浅出理解深度学习（附资源打包下载）
作者:Shashank Gupta 翻译:倪骁然校对:卢苗苗本文约2300字,建议阅读10分钟. 本文提供资源帮助你在放置一个conv2d层或者在Theano里调用T.grad的时候,了解到在代码 ...
让 PM 全面理解深度学习
让 PM 全面理解深度学习本文汇总了深度学习相关的重要知识点. 下面是内容结构和长图: 一文看懂深度学习(白话解释+8个优缺点+4个典型算法) 一文看懂卷积神经网络-CNN(基本原理+独特价值+实际 ...
前沿丨DeepMind提出神经元删除法：通过理解每个神经元来理解深度学习
近日,DeepMind 发表博客介绍其对神经网络可解释性的最新研究成果.受神经科学启发,他们通过删除神经元来探索其对网络性能的影响.研究发现,和过去的经验直觉相反,选择性神经元(如「猫神经元」)对于网 ...
从Image Caption Generation理解深度学习
作者:李理 from: http://geek.csdn.net/news/detail/97193 Part I 从Image Caption Generation理解深度学习(1) 0. 前面的话 ...

交叉熵理解深度学习互信息

交叉熵理解深度学习互信息相关推荐

最新文章

热门文章