学在信息——一方豪杰

重点：固定参数的无记忆离散信道

转移概率：

描述了输入信号和输出信号之间的统计依赖关系

离散无记忆信道，DMC（无记忆性，无预感性）

二元对称信道：BSC

	0	1
0	1-P	P
1	P	1-P

二元删除信道：BEC

	0	?	1
0	P	1-P	0
1	0	1-Q	Q

当输出端出现特殊符号“？”时说明信道传输中出现了错误，我们可以把这个特殊符号“？”删除，而不至于错误的把0当做1，或把1当做0，，这就是二元删除信道避免犯绝对错误的基本功能。

①为联合概率,②为先验概率,③为前向概率,④为后验概率(也叫后向概率)

输出符号概率:

重点关系式子

信道疑义度:

损失熵:H(X|Y)即损失熵,表示信源符号经过有噪信号传输后损失的信息量

信道疑义度:表示输出端在收到全部Y后,对于输入X上存在的平均不确定程度

I(X;Y)=H(X)-H(X|Y)

一般情况下:I(X;Y)<=H(X)

平均互信息量:I(X;Y)=H(X)-H(X|Y)

H(X|Y)即信道疑义度,也称为损失熵,因此信源的熵等于收到的信息量加上损失的熵

H(Y|X)表示已知输入的情况下,输出端还残留的不确定性,称为噪声熵

平均互信息量具有非负性,极值性,交互性以及凸函数性(上凸函数)

而使平均互信息量达到相应最大值的信源被称为匹配信源

由于信道固定,对任意一种信源分布其转移概率都为p(y|x)

对于固定信源分布p(xi),平均互信息量I(X;Y)是p(yj|xi)的下凸函数,具有最小值

1.H(XY)=H(X|Y)+H(Y)=H(Y|X)+H(X)

2.H(XY) ≤H(X)+H(Y)等式成立的条件为X,Y相互独立

3.I(X;Y)=H(X)-H(X|Y)

4.I(X;Y)=I(Y;X)

5.I(X;Y)=H(X)+H(Y)-H(XY)

6.I(X;X)=H(X)

★1.若传递概率为:

则存在:

等式成立的充要条件为:当且仅当信源也是无记忆信源时,等号才成立

★2.若如下:

则存在:

等式成立充要条件为:当且仅当信道也是无记忆信源时,等号才成立

学在信息——一方豪杰相关推荐

中央民族大学计算机考研考什么,中央民族大学电子信息专业硕士研究生入学考试初试科目考试大纲...
中央民族大学电子信息专业硕士研究生入学考试初试科目考试大纲科目代码:852 (备注:电子信息专业硕士下设电子与通信工程和计算机技术两个方向,其中电子与通信工程方向考试科目为信号与系统,计算机技术方 ...
西北工业大学计算机专硕分数线,西北工业大学电子信息（专硕）专业考研录取分数线-研究生分数线-历年分数线...
西北工业大学电子信息(专硕)专业考研录取分数线也是考研人应该非常关注的又一个重要的数据信息,研究生录取分数线和复试分数线直接就决定了考多少分才能达到成功考取研究生的一个最低标准.如果考研录取分数线过高 ...
西北工业太学计算机科学与技术周世钢,西北工业大学电子信息（专硕）专业研究生导师信息-研究生导师介绍-联系方式...
很多报考西北工业大学电子信息学院电子信息(专硕)专业的考生都有这样的疑问,考研有必要提前联系导师吗?怎么去联系西北工业大学电子信息学院电子信息(专硕)专业的研究生导师呢?其实对于这个问题答案是肯定的, ...
计算机网络课程思政教学设计,信息与网络工程学院成功举办第一届课程思政教学设计大赛...
为有效贯彻全国高校思想政治工作会议精神,强化课程思政建设,全面提高人才培养质量,根据<教务处关于举办第一届课程思政教学设计大赛的通知>要求,结合学院工作安排,7月18日,信息与网络工程学院 ...
植物代谢组学-线虫信息素的植物代谢介导植物与线虫的相互作用
近期,有很多趣粉在后台留言,问小趣什么时候推送关于植物代谢组学研究方面的文献.今天,小趣就满足趣粉们的需求,分享一篇发表在Nature Communications( IF=11.878)的文章,题目 ...
跨考考研：从第二学士学位到西北工业大学电子信息专硕拟录取
最近研究生复试结束了,也看到部分学校的第二学士学位开始招生了,前段时间也有些人在咨询这方面的问题,所以想做一个简单的分享,希望能对有需要的同学有一定的参考作用. 本文仅是分享,不做任何建议,请自己慎重 ...
西安石油大学电子计算机考研,2021年西安石油大学电子信息(085400)考研专业目录_硕士研究生考试范围 - 学途吧...
不限 (学硕)(0101)哲学 (学硕)(0201)理论经济学 (学硕)(0202)应用经济学 (专硕)(0251)金融硕士 (专硕)(0252)应用统计硕士 (专硕)(0253)税务硕士 (专硕)( ...
二本学电子信息计算机好不好,2021二本电子信息工程就业前景好吗
别害怕第一份工作中的薪水低,你也就当交费了,等学得了东西还并不是海阔凭鱼跃,天高任鸟飞.不必跟招聘面试的说我无所谓薪水,能学得东西就可以了.别人是让你来干活儿的,又不是给你去学习的.个人简历一定要好好 ...
计算机科学与技术考研北京工业大学分,22考研——北京工业大学电子信息专业考研考情分析...
一.电子信息专业: 01.专业介绍: 电子信息的出现与计算机技术,通信技术和高密度存储技术的迅速发展并在各个领域里得到广泛应用有着密切关系. 电子信息工程是一门:应用计算机等现代化技术进行电子信息控制 ...

学在信息——一方豪杰

重点关系式子

学在信息——一方豪杰相关推荐

最新文章

热门文章