前言

在学习过程中我常将互信息量与条件自信息量两者混淆，在此做出总结加以区分

一、两者概念区分

因为条件信息量的本质是自信息量，因此我们先抛出自信息量的概念

1、自信息量

对 b j b_{j} bj 一无所知的情况下，对 a i a_{i} ai的不确定度

2、条件信息量

在已知 b j b_{j} bj的条件下， a i a_{i} ai仍然存在的不确定度

3、互信息量

在接受到 b j b_{j} bj后，获得的关于 a i a_{i} ai的信息量

二、两者公式

1、条件信息量

I ( x i ∣ y j ) = − l o g p ( x i ∣ y j ) = p ( x i y j ) p ( y j ) I(x_{i}|y_{j})=-logp(x_{i}|y_{j})=\frac{p(x_{i}y_{j})}{p(y_{j})} I(xi∣yj)=−logp(xi∣yj)=p(yj)p(xiyj)

2、互信息量

I ( x i ; y j ) = I ( x i ) − I ( x i ∣ y j ) = l o g p ( x i ∣ y j ) p ( x i ) I(x_{i};y_{j}) = I(x_{i})-I(x_{i}|y_{j}) = log\frac{p(x_{i}|y_{j})}{p(x_{i})} I(xi;yj)=I(xi)−I(xi∣yj)=logp(xi)p(xi∣yj)
或 I ( x i : y j ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) = H ( X ) + H ( Y ) − H ( X , Y ) I(x_{i}:y_{j})=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(X,Y) I(xi:yj)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)=H(X)+H(Y)−H(X,Y)

总结

如果题目问通过输出得到的关于输出的信息量我们应该去求自信息量

条件自信息量与互信息量的区别相关推荐

特征选择——互信息量
最近做了一个数据比赛,由于对数据背后的业务不太了解,所以特征工程大多采取了"暴力"提取的方式,最终特征过多直接导致模型存在过拟合问题.所以赛后总结在做特征工程的过程中就要考虑特 ...
SQL中过滤条件放在on和where中的区别
sql中过滤条件放在on和where中的区别,inner join没区别.后来才想起来,连接查询除了inner join还有right join,left join. join过程可以这样理解:首先两 ...
《通信原理》（2）：信息量及平均信息量
前言在上篇文章中我们介绍了下通信系统,按照信道中传输的是模拟信号还是数字信号,通信系统可分为模拟通信系统和数字通信系统:此外我们还介绍了广播.点-点.单工通信.半双工通信.全双工通信.并行传输.串行 ...
离散信源信息量、平均信息量的计算
信息量I与消息出现的概率 P(x) 之间的关系: 1.信息量是概率的函数,即I=f[P(x)]: 2.P(x) 越小,I越大,P(x) 越大,I越小: 3.若干个相互独立事件构成的消息,所含信息量等于 ...
2023年湖北安全员ABC证报考条件都有哪些？有什么区别？启程别
2023年湖北安全员ABC证报考条件都有哪些?有什么区别?启程别一.安全员ABC证是什么? 安全员A.B.C证属于建筑三类人员证书.建筑三类人员:是指建筑施工企业主要负责人.项目负责人和专职安全生产 ...
linux条件变量使用和与信号量的区别
linux条件变量使用和与信号量的区别今天在学习进程同步机制的时候看见一句话: 条件变量只能在管程中通过两个原语操作--wait原语和signal原语于是发出了一个疑问:信号量机制和条件变量同步机 ...
AIC+BIC+HQ+赤池信息量+贝叶斯信息量
AIC+BIC+HQ AIC=-2 ln(L) + 2 k 中文名字:赤池信息量 akaike information criterion BIC=-2 ln(L) + ln(n)*k 中文名字:贝 ...
列表渲染 wx:key 的作用、条件渲染 wx:if 与 hidden 的区别
这是微信小程序踩坑系列的第三篇,想要了解更多关于微信小程序开发的那些事,欢迎关注我的<微信小程序>专栏. 前言开发微信小程序离不开"页面渲染",对于初学者来说很难理解 ...
jquery 中多条件选择器,相对选择器,层次选择器的区别
一.Jquery常用的过滤选择器如下所示: 1.:first,选取第一个元素,比如$("div:first")选取第一个div元素 2.:last,选取最后一个元素,比如$(&qu ...

条件自信息量与互信息量的区别