文章目录

信道
- 单符号离散信道
- - 互信息（这才是信息）
  - 平均交互信息量
  - 损失熵，疑义度
  - 噪声熵，散布度
  - 归并无噪信道（从发送端考虑）
  - 发散无损信道（从接收端考虑）
  - 无噪无损信道
  - 串联信道
  - - 数据处理定理
  - 信道容量（固有的属性，与输入的信源分布无关）
  - 匹配信源
  - 几种特殊无噪信道的信道容量

信道

单符号离散信道

信源发出X=a，经过信道，信宿出现符号b的概率：“a出现的前提下出现b的条件概率”，也就是说P(b/a)P(b/a)P(b/a)体现了信道对输入符号的传递作用。

互信息（这才是信息）

这里就是说，一开始信源传递a，由于信道的噪声干扰I(b/a)I(b/a)I(b/a)，信宿得到了b，那么互信息就是信宿得到b后对符号a的不确定性的消除。I(a;b)=I(a)−I(a/b)=I(b)−I(b/a)I(a;b)=I(a)-I(a/b)=I(b)-I(b/a)I(a;b)=I(a)−I(a/b)=I(b)−I(b/a)。

可以为负值，当b拥有一种误导性质的时候，增大了a的不确定性。

平均交互信息量

互信息只能表达信道上传递一个具体符号所传输的信息量，而平均交互信息量I(X;Y)=I(Y;X)=H(X)−H(X/Y)I(X;Y)=I(Y;X)=H(X)-H(X/Y)I(X;Y)=I(Y;X)=H(X)−H(X/Y)

非负性：大于等于0，当且仅当X,Y独立的时候等号成立。

极值性：小于等于H(X)，这就是说从信宿Y中获取关于信源X的信息量不会超过信源X本身含有的信息量。

损失熵，疑义度

H(X/Y)H(X/Y)H(X/Y)

噪声熵，散布度

H(Y/X)H(Y/X)H(Y/X)

归并无噪信道（从发送端考虑）

损失熵=0，H(Y/X)=0H(Y/X)=0H(Y/X)=0。就是说信源发出一个a，信宿接收的一定是b（不论b和a相差多少）。I(X;Y)=H(Y)I(X;Y)=H(Y)I(X;Y)=H(Y)。

发散无损信道（从接收端考虑）

疑义度=0，H(X/Y)=0H(X/Y)=0H(X/Y)=0。就是信宿接收到b，那么就可以确定信源发送的是a，没有疑义。I(X;Y)=H(X)I(X;Y)=H(X)I(X;Y)=H(X)。

无噪无损信道

I(X;Y)=H(X)=H(Y)\mathrm{I}(\mathrm{X} ; \mathrm{Y})=\mathrm{H}(\mathrm{X})=\mathrm{H}(\mathrm{Y})I(X;Y)=H(X)=H(Y)，一对一。

串联信道

数据处理定理

传递的信息逐级递减。

信道容量（固有的属性，与输入的信源分布无关）

信道容量：传输的有效性，即一个给定信道的最大信息传输率。（信道的信息传输率＝平均互信息，即 R=I(X;Y) ，比特/符号）。

C=max⁡P(X){I(X;Y)}=max⁡P(X){R(X,Y)}C=\max _{P(X) }\{I(X ; Y)\}=\max _{P(X)}\{R(X, Y)\}C=maxP(X){I(X;Y)}=maxP(X){R(X,Y)}，信息传输率=I(X;Y)=I(X;Y)=I(X;Y)

单位时间的信道容量：Ct=C/tC_t=C/tCt=C/t，也称为信道的最大信息传输速率（比特/秒，t是传递一个符号需要的时间秒）。

I(X;Y)=H(X)−H(X/Y)=H(Y)−H(Y/X)I(X;Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)I(X;Y)=H(X)−H(X/Y)=H(Y)−H(Y/X)

匹配信源

能够使平均交互信息量达到信道容量C的信源。

几种特殊无噪信道的信道容量

无损信道：lgr，等概分布的输入信源

无噪信道：lgs，可以使输出等概分布的输入信源（很多）

信息论3——信道（单符号离散信道，互信息，各种熵）相关推荐

信息论4—多符号离散信道，单维连续信道
文章目录多符号离散信道多符号离散信道容量信道的剩余度单维连续信道平均交互信息量连续信道的信道容量高斯加性信道的信道容量信道的剩余度单维连续信道平均交互信息量连续信道的信道容量高 ...
信息论与编码技术之离散信道及其容量总结
目录前言: 一．分类与信道数学模型(概念) 二．离散无记忆信道DMC(基本概念,几种常用的DMC的定义,I(X;Y)计算) 1.离散无记忆信道DMC的充要条件(掌握证明,含义) 2.平稳信道三．信 ...
UA MATH636 信息论5 信道编码定理的证明
UA MATH636 信息论5 信道编码定理的证明 Random Coding Scheme 平均错误率最大错误率逆命题的证明信道编码定理说的是所有小于 CCC的传输率是可实现的.这里的 CCC ...
UA MATH636 信息论5 信道编码定理
UA MATH636 信息论5 信道编码定理信道编码问题信道容量的正式定义信道编码定理 Joint Typical Set Joint AEP 上一篇简介里面介绍了通讯的过程,并用下面的流程图来 ...
python货币转换b_【Python】第3次作业：if条件语句——阶乘、表达式求值、货币转换 I（单符号）、温度转换...
[Python]第3次作业:if条件语句--阶乘.表达式求值.货币转换 I(单符号).温度转换 1.阶乘题目:用户输入一个正整数,计算其阶乘. import math x=int(input()) ...
溢出检测单符号位法_设计经验：如何用三轴加速度传感器检测倾斜角？
本文介绍了三轴加速度传感器的特性,并通过一个典型的应用--检测倾斜角--对单轴.双轴和三轴加速度传感器进行了比较,并给出了选型建议. 在前两篇文章中,我们介绍了单/双轴加速度传感器在来检测倾斜角上的应 ...
溢出检测单符号位法_电工知识：继电器的识别与检测方法图解
继电器的识别与检测方法图解 [1] 继电器是一种常用的控制器件,它可以用较小的电流来控制较大的电流,用低电压来控制高电压,用直流电来控制交流电等,并且可实现控制电路与被控电路之间的隔离,在自动控制.遥 ...
计算信源熵和香农编码C语言,信息论与编码课程设计报告-统计信源熵与香农编码.pdf...
信息论与编码课程设计报告设计题目: 统计信源熵与香农编码专业班级电信 12-06 学号学生姓名指导教师教师评分 2015 年 3 月 30 日目录 - 0 - 一.设计任务与要求 ...
[信息论与编码理论专题-2]：信息与熵
作者主页(文火冰糖的硅基工坊):https://blog.csdn.net/HiWangWenBing 本文网址:https://blog.csdn.net/HiWangWenBing/article ...

信息论3——信道（单符号离散信道，互信息，各种熵）