信息论中的一些基本的知识

（以下内容来自维基百科：）

自信息：由克劳德·香农提出，是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它的定义为：一个随机产生的事件所包含的自信息数量，只与事件发生的概率相关。事件发生的概率越低，在事件真的发生时，接收到的信息中，包含的自信息越大。此外，根据定义，自信息的量度是正的而且是可加的。如果事件 C 是两个独立事件 A 和 B 的交集，那么宣告 C 发生的信息量就等于分别宣告事件 A 和事件 B 的信息量的和：I(A ∩ B)=I(A)+I(B).

所以，考虑以上的性质，就定义了自信息，用 I 表示：假设事件 x 发生的概率为P（x），则自信息符号定义为：

I（x） = log(1 / p（x））= -log（p（x））。

注意：在以上定义中，没有指定对数的基底。如果以 2 为底，单位是bit。当使用以 e 为底的对数时，单位将是 nat。对于基底为 10 的对数，单位是 hart。

互信息：在概率论和信息论中，两个随机变量的互信息（Mutual Information，简称MI）或转移信息（transinformation）是变量间相互依赖性的量度。不同于相关系数，互信息并不局限于实值随机变量，它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息是点间互信息（PMI）的期望值。互信息最常用的单位是bit。一般地，两个离散随机变量 X 和 Y 的互信息可以定义为：

在连续随机变量的情形下，求和被替换成了二重定积分：

互信息与熵的关系：

信息熵：用一句话说，为随机事件x的自信息的期望就是信息熵，它是一个事件的不确定的度量。它的符号定义为：

H(x) = E[I(x)] = E[-log( p(x) ) ]

当取自有限的样本时，熵的公式可以表示为：

熵的极值：当所有符号等可能出现的情况下，熵达到最大值（所有可能的事件等概率时不确定性最高）。

条件熵：

在信息论中，条件熵描述了在已知第二个随机变量X 的值的前提下，随机变量Y的信息熵还有多少。基于条件X 的Y的信息熵，用H（Y|X) 表示。

它的定义：（我觉得写的很好）

下面是链式法则与贝叶斯规则：

相对熵：又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence）。

在概率论或信息论中，KL散度( Kullback–Leibler divergence)，又称相对熵（relative entropy)，是描述两个概率分布P和Q差异的一种方法。它是非对称的，这意味着D(P||Q) ≠ D(Q||P)。特别的，在信息论中，D(P||Q)表示当用概率分布Q来拟合真实分布P时，产生的信息损耗，其中P表示真实分布，Q表示P的拟合分布。

下面是它的的物理意义：来自百度百科：

交叉熵：英文名为 cross-entropy：它的意义是什么？描述了如果一个潜在的样本有两个分布，一个是q(它不是真正的），一个是p（它是真正的）,当我们用q分布来编码p分布的样本时，需要的编码长度。它的定义为：

离散情况下为：

又可以表示为：

什么意思呢？

具体可以看知乎上的回答，写的很不错的：https://www.zhihu.com/question/41252833。

转载于:https://www.cnblogs.com/yinheyi/p/6426431.html

信息论中的一些基本的知识相关推荐

关于信息论中熵、相对熵、条件熵、互信息、典型集的一些思考
1. 绪论 0x1:信息论与其他学科之间的关系信息论在统计物理(热力学).计算机科学(科尔莫戈罗夫复杂度或算法复杂度).统计推断(奥卡姆剃刀,最简洁的解释最佳)以及概率和统计(关于最优化假设检验与估 ...
关于信息论中熵、相对熵、、条件熵、互信息、典型集的一些思考
1. 绪论 0x1:信息论与其他学科之间的关系信息论在统计物理(热力学).计算机科学(科尔莫戈罗夫复杂度或算法复杂度).统计推断(奥卡姆剃刀,最简洁的解释最佳)以及概率和统计(关于最优化假设检验与估 ...
网络知识：交换机中的半双工与全双工知识笔记
今天小编给大家分享一下交换机中半双工与全双工相关知识,希望对大家能有所帮助! 早期的网络设备HUB(集线器)就是半双工,目前基本没有人用了,而现在用的SWITCH(交换机)就是全双工. a.半双工:接 ...
论文浅尝 - CIKM2021 | DT-GCN: 一种双曲空间中的数据类型感知的知识图谱表示学习模型...
论文作者:申雨鑫,天津大学硕士发表会议:CIKM 2021 链接:https://dl.acm.org/doi/pdf/10.1145/3459637.3482421 动机知识图谱表示学习旨在将实 ...
java中的异常处理语句_Java中实现异常处理的基础知识
Java中实现异常处理的基础知识异常 (Exception):发生于程序执行期间,表明出现了一个非法的运行状况.许多JDK中的方法在检测到非法情况时,都会抛出一个异常对象. 例如:数组越界和被0除. ...
PowerDNS管理工具开发中学习到的DNS知识
PowerDNS管理工具开发中学习到的DNS知识 PowerDNS是一个数据库代替DNS域文件方法的开源软件,主要实现DNS主体功能进程bind实现从数据库取数据来实现DNS解析.最近做了一个DNS记 ...
计算机图形学中需要掌握的数学基础知识有哪些？
计算机图形学中使用了大量数学知识,尤其是矩阵和线性代数.虽然我们倾向于认为3D图形编程是紧跟最新技术的领域之一(它在很多方面确实是),但它用到的很多技术实际上可以追溯到上百年前,其中一些甚至是由文艺复 ...
中职生计算机基础知识总结,浅谈中职学生的计算机基础教育
摘要:算机的基础教育已经在义务教育中普及,但学生对于计算机的应用能力却有很大差异,这就为中职的计算机基础教育带来不便,对于程度良莠不齐的入校新生来说该如何展开教学,是值得深思的问题,本文就这一问题展开 ...
深圳软件测试培训：测试中常见移动端基础知识
深圳软件测试培训:测试中常见移动端基础知识什么是Activity? 四大组件之一,一般的,一个用户交互界面对应一个activity setContentView() ,// 要显示的布局 , act ...

信息论中的一些基本的知识

信息论中的一些基本的知识相关推荐

最新文章

热门文章