学在信息——牛刀小试

平均条件互信息量

含义：事件yj发生后提供的关于集X的平均信息量

联合集XY上的平均条件互信息量I(X;yj)>=0

等号成立的条件为集X中的各个xi都与yj相互独立（即X与Y相互独立）

平均互信息量

说明： I(X;Y)表示收到集Y所获得关于集X的平均信息量，即收到Y后，所消除的关于X的平均不确定性，对于整个集X和Y来说，是固定值

平均互信息量和各类熵的关系：

I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

I(X;Y)=H(X)+H(Y)-H(XY)

说明：

H(X):信源X的平均不确定性（先验熵)

H(Y): Y的平均不确定性

H(X|Y):收到Y后，X剩余的不确定性，表示信道损失，又称为信道疑义度，这个X尚有的不确定性是由于干扰引起的损失，又称为损失熵。

I(X;Y):收到Y后，所帮助消除X的平均不确定性。

由图也可看出：H(X|Y)≤H(X)，H(Y|X)≤H(Y)，取等号充要条件是，X与Y相互独立。

后熵不增性：

信息在信道的传输过程中，后验熵绝对不能多于先验熵，最多等于先验熵。熵总是向减小的方向发展，最多维持不变，熵的减小的过程就是信道传递信息的过程。

极值性：

I(X;Y)<=H(X) ; I(X;Y)<=H(Y)

凸函数性：

I(X;Y)是信源分布p(xi)和信道传递概率p(yj|xi)的凸函数。

学在信息——牛刀小试相关推荐

中央民族大学计算机考研考什么,中央民族大学电子信息专业硕士研究生入学考试初试科目考试大纲...
中央民族大学电子信息专业硕士研究生入学考试初试科目考试大纲科目代码:852 (备注:电子信息专业硕士下设电子与通信工程和计算机技术两个方向,其中电子与通信工程方向考试科目为信号与系统,计算机技术方 ...
西北工业大学计算机专硕分数线,西北工业大学电子信息（专硕）专业考研录取分数线-研究生分数线-历年分数线...
西北工业大学电子信息(专硕)专业考研录取分数线也是考研人应该非常关注的又一个重要的数据信息,研究生录取分数线和复试分数线直接就决定了考多少分才能达到成功考取研究生的一个最低标准.如果考研录取分数线过高 ...
西北工业太学计算机科学与技术周世钢,西北工业大学电子信息（专硕）专业研究生导师信息-研究生导师介绍-联系方式...
很多报考西北工业大学电子信息学院电子信息(专硕)专业的考生都有这样的疑问,考研有必要提前联系导师吗?怎么去联系西北工业大学电子信息学院电子信息(专硕)专业的研究生导师呢?其实对于这个问题答案是肯定的, ...
计算机网络课程思政教学设计,信息与网络工程学院成功举办第一届课程思政教学设计大赛...
为有效贯彻全国高校思想政治工作会议精神,强化课程思政建设,全面提高人才培养质量,根据<教务处关于举办第一届课程思政教学设计大赛的通知>要求,结合学院工作安排,7月18日,信息与网络工程学院 ...
植物代谢组学-线虫信息素的植物代谢介导植物与线虫的相互作用
近期,有很多趣粉在后台留言,问小趣什么时候推送关于植物代谢组学研究方面的文献.今天,小趣就满足趣粉们的需求,分享一篇发表在Nature Communications( IF=11.878)的文章,题目 ...
跨考考研：从第二学士学位到西北工业大学电子信息专硕拟录取
最近研究生复试结束了,也看到部分学校的第二学士学位开始招生了,前段时间也有些人在咨询这方面的问题,所以想做一个简单的分享,希望能对有需要的同学有一定的参考作用. 本文仅是分享,不做任何建议,请自己慎重 ...
西安石油大学电子计算机考研,2021年西安石油大学电子信息(085400)考研专业目录_硕士研究生考试范围 - 学途吧...
不限 (学硕)(0101)哲学 (学硕)(0201)理论经济学 (学硕)(0202)应用经济学 (专硕)(0251)金融硕士 (专硕)(0252)应用统计硕士 (专硕)(0253)税务硕士 (专硕)( ...
二本学电子信息计算机好不好,2021二本电子信息工程就业前景好吗
别害怕第一份工作中的薪水低,你也就当交费了,等学得了东西还并不是海阔凭鱼跃,天高任鸟飞.不必跟招聘面试的说我无所谓薪水,能学得东西就可以了.别人是让你来干活儿的,又不是给你去学习的.个人简历一定要好好 ...
计算机科学与技术考研北京工业大学分,22考研——北京工业大学电子信息专业考研考情分析...
一.电子信息专业: 01.专业介绍: 电子信息的出现与计算机技术,通信技术和高密度存储技术的迅速发展并在各个领域里得到广泛应用有着密切关系. 电子信息工程是一门:应用计算机等现代化技术进行电子信息控制 ...

学在信息——牛刀小试

平均条件互信息量

平均互信息量

后熵不增性：

学在信息——牛刀小试相关推荐

最新文章

热门文章