机器学习(3)：信息论

1.信息熵

给定概率密度函数\(p(x)\)，定义该函数的信息熵
\(H(p)=H[\mathbf{x}]=-\int{p(\mathbf{x})lnp(\mathbf{x})d\mathbf{x}}\)
信息熵描述了分布的混乱程度。均匀分布是使得信息熵最大的概率分布。单点的冲击响应函数对应的信息熵最小

2.相对熵

给定两个概率密度函数\(p(x)\)和\(q(x)\) ,描述二者之间的差异（距离），定义相对熵

\(KL(p||q)=-\int{p(\mathbf{x})\textbf{ln}q(\mathbf{x})d\mathbf{x}}-(-\int{q(\mathbf{x})\textbf{ln}p(\mathbf{x})d\mathbf{x}}) \\
KL(p||q)=-\int{p(x)ln\left \{ \frac{q(\mathbf{x})}{p(\mathbf{x})} \right \}}\)

对任意概率分布\(KL(p||q)\geqslant 0\)，等号当且仅当 \(p=q\)。

3.互信息

对于两个随机变量\(x,y\) ，定义二者之间的互信息

\(I[x,y]=KL(p(x,y)||p(x)p(y)=-\iint{p(x,y)ln\left ( \frac{p(x)p(y)}{p(x,y)} \right )dxdy}\)

若\(x,y\) 相互独立，则互信息为0，二者相互无关

\(I[x,y]=H[x]-H[x|y]=H[y]-H[y|x]\)

4.交叉熵及深度学习的应用

给定两个概率密度函数\(p(x)\)和\(q(x)\)，定义\(p(x)\) 关于\(q(x)\) 的交叉熵

\(H(p,q)=E_{p}(-lnq)=-\int{p(x) ln q(x) dx}=H(p)+KL(p||q)\)

交叉熵作为logistic、 softmax回归的代价函数，常应用神经网络的输出层。

转载于:https://www.cnblogs.com/cv-pr/p/7103180.html

机器学习(3)：信息论相关推荐

【机器学习】信息论基础（联合熵、条件熵、交叉熵、KL散度等）+ Python代码实现
文章目录一.基本概念 1.1 联合熵 1.2 条件熵 1.3 交叉熵 1.3.1 Python编程实现交叉熵计算 1.4相对熵(KL散度) 1.4.1 Python编程实现KL散度计算二.自信息和 ...
【数据挖掘】数据挖掘简介 ( 6 个常用功能 | 数据挖掘结果判断 | 数据挖掘学习框架 | 数据挖掘分类 )
文章目录 I . 数据挖掘功能 II . 数据挖掘结果判断 III . 数据挖掘学习框架 IV . 数据挖掘分类 I . 数据挖掘功能 1 . 概念描述 ( Concept Descript ...
AI工程师职业规划和学习路线完整版
AI工程师职业规划和学习路线完整版如何成为一名机器学习算法工程师成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经 ...
基于神经网络的人工智能,人工神经网络心得体会
1.人工智能的学习思路是什么? 要学习人工智能,就要先了解清楚人工智能是什么.人工智能就是制造智能的机器,更特指制作人工智能的程序.人工智能模仿人类的思考方式使计算机能智能的思考问题,人工智能通过研究 ...
图神经网络基础与前沿,神经系统知识网络图
知识图谱怎样入门知识图谱作为一门学问,绝不是用个图数据库写几条查询,或者用规则写一个表格的提取,就可以称为成功的运用的.和所有的学科一样,都需要长期的艰苦的努力,在充分了解前人成果的基础上,才有可能 ...
成为一名合格的算法工程师需要掌握哪些技能？
来自公众号:大数据挖掘DT数据分析本文共7500字,建议阅读10+分钟. 本文将算法工程师所需的技能进行拆分,带你了解掌握哪些技能才能算是一名合格的算法工程师. 成为一名合格的开发工程师不是一件简单 ...
变分推断（variational inference）/variational EM
诸神缄默不语-个人CSDN博文目录由于我真的,啥都不会,所以本文基本上就是,从0开始. 我看不懂的博客就是写得不行的博客.所以我只写我看得懂的部分. 持续更新. 文章目录 1. 琴生不等式 2. 香 ...
l1-norm loss l2-norm loss （l1范数和l2范数作为正则项的比较）
l1-norm loss & l2-norm loss (l1范数和l2范数作为正则项的比较) l1-norm 和 l2-norm是常见的模型优化过程中的正则化项,对应到线性回归的领域分别为l ...
人工神经网络技术及应用,人工神经网络发展前景
人工神经网络的发展趋势人工神经网络特有的非线性适应性信息处理能力,克服了传统人工智能方法对于直觉,如模式.语音识别.非结构化信息处理方面的缺陷,使之在神经专家系统.模式识别.智能控制.组合优化.预测 ...
python工程师职业规划书范文_AI工程师职业规划和学习路线完整版
如何成为一名机器学习算法工程师成为一名合格的开发工程师不是一件简单的事情,需要掌握从开发到调试到优化等一系列能力,这些能力中的每一项掌握起来都需要足够的努力和经验.而要成为一名合格的机器学习算法工 ...

机器学习(3)：信息论

机器学习(3)：信息论相关推荐

最新文章

热门文章