条件自信息跟互信息区别简述

简述

（PS部分，可以是拓展部分，可不看）
条件自信息： 条件自信息，本质上还是自信息。定义上，明确指出，是在已知事件 y = b j y = b_j y=bj发生的条件下， x = a i x = a_i x=ai的自信息。

互信息： 互信息的话，并没有想象中的那么独立。其实，在互信息的定义中，就是依据自信息来定义的。本质上是通过数学表达式定义的。但是通过这个定义式，不难直接推出一个跟自信息相关的公式。
I ( X ; Y ) = I ( X ) − I ( X ∣ Y ) I(X;Y) = I(X) - I (X | Y) I(X;Y)=I(X)−I(X∣Y)
就这么简单，可以看出，互信息，本身从定义上，就只是自信跟条件自信息的附属。
数学表达式的意思是： 事件 X, Y之间的互信息就是，指事件X的自信息跟事件Y已知的条件下，事件X的自信息之间的差值。

不难看出，这是在对于 Y事件的发生对于X事件这件事上的自信息的影响 的考量。
而这种关系是互易性的 （这个通过对上面式子的变形很简单推出来）。
这种互易性，也是符合逻辑的。这说明，一个事情的发送对另外一件事的所包含的信息量的影响，反过来也是成立的。
（PS：而这种一致性跟贝叶斯概率模型在截然不同的。当然啦，因为底层的逻辑是不一致的。因为贝叶斯本质上的信息任然还是一种条件自信息。条件自信息的区别可以不同，但是由于本身的信息的不一致，又给补全回来了。这个补全回来的意思，用到了这里的互易性，加上贝叶斯模型上广泛的不一致问题。）

类型	条件自信息	互信息
互易性	（不一定具有）p(x\|y) 跟 p(y\|x)不一定相等	是
x,y独立时	$I(X	Y) = I(X)$
正负性	不为负	可正可负

条件自信息跟互信息区别简述相关推荐

【信息论基础】离散信息的度量—自信息和互信息
参考[信息论基础]第2章离散信息的度量-自信息和互信息_哔哩哔哩_bilibili 目录一.自信息 ◼ 自信息例题 ◼ 联合自信息例题 ◼ 条件自信息例题例题2 ◼ 自信息,联合自信息和条件 ...
信息论基本概念-自信息、互信息、信息熵、信道容量
本文主要介绍和Polar码相关的信息论一些基本概念,包括自信息.互信息.信息熵和信道容量:便于后续对Polar码的介绍与研究. 自信息事件集合X中的事件x=aix=a_{i}x=ai的自信息定义为 ...
信息度量（一）：自信息、互信息与信息散度
目录 1 自信息 1.1 自信息 1.2 条件自信息 1.3 联合自信息 2 互信息 2.1互信息 2.2 条件互信息 3 信息散度 1 自信息自信息是用来衡量单一事件发生时所包含的信息量,这里主要 ...
信息熵、自信息与互信息
信息熵对某件事件的不确定性叫做熵,熵值单位为bit,计算公式为: .它是统计平均意义下的不确定性,包括熵,条件熵,联合熵. 例如对于一道选择题A.B.C.D四个选项,后面的百分数为选该选项的概率,假 ...
mysql 非等值条件索引_慢SQL简述与定位
慢SQL日志简述通过命令和查看日志文件的方式直接查看mysql服务器的慢sql 参数配置参数作用slow_query_log是否启用 slow_query_log_file日志文件 long_qu ...
Kubernetes 竞争条件漏洞的发现过程简述
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士团队去年,Checkmarx 公司的安全研究团队在研究 Kubernetes 时发现了一个竞争条件漏洞.如下是漏洞挖掘过程简述. Kuber ...
在计算机中存储器是由内存和外存的区别,简述计算机的内存和外存有何区别与特点？内存是由哪几部分组成？有何特点？...
简述计算机的内存和外存有何区别与特点?内存是由哪几部分组成?有何特点? 答案:4 信息版本:手机版解决时间 2019-10-06 02:44 已解决 2019-10-05 13:10 简述计算机的 ...
HTTPS 跟 HTTP区别简述
什么是 HTTPS? HTTPS (基于安全套接字层的超文本传输协议或者是 HTTP over SSL) 是一个 Netscape 开发的 Web 协议. 你也可以说:HTTPS = HTTP + ...
CGAN（条件生成-对抗网络）简述教程
一直以来提醒自己说,你要坚持,要坚持,要坚持更新,坚持读paper,要是现在都坚持不下去,还有将近五年该怎么办呐. 所幸,我还是有底线的,在今天抽了一个下午,看了看论文,跑了跑代码,过程谈不上舒服,也 ...

条件自信息跟互信息区别简述

简述

条件自信息跟互信息区别简述相关推荐

最新文章

热门文章