【信息论】信源与信源熵(一)
— 主要内容
1. 信源的分类与描述
2. 离散信源的信息熵和互信息
3. 离散序列信源的熵
4. 连续信源的熵与互信息
5. 冗余度
2.1 信源的分类与描述
— 信源的定义
产生消息(符号)、消息序列和连续消息的来源。
信源的基本特性是具有随机不确定性
l 分类
1. 时间 离散 连续
2. 幅度 离散 连续
3. 记忆 有 无
n 介绍三类信源
Ø 单符号离散信源
Ø 符号序列信源(有记忆和无记忆)
Ø 连续信源
一.单符号离散信源
单符号离散信源:用随机变量X来描述
X的概率空间
二.符号序列信源
离散序列信源:用随机向量XL描述
以3位PCM信源为例
三.连续信源
连续信源:用随机过程x(t)描述
px(x)不再是概率分布,而是概率密度分布函数
2.2 离散信源熵与互信息
— 信息量
自信息→平均自信息→符号熵
联合自信息→平均联合自信息→联合熵
条件自信息量→平均条件自信息→条件熵
— 单符号离散信源熵
符号熵
条件熵
联合熵
一.自信息量
1. 定义
对于给定的离散概率空间表示的信源,x=xi事件所对应的(自)信息为
I(xi) = - logp(xi)
以2为底,单位为比特(bit)
以e为底,单位为奈特(nat)
1nat=1.433bit
以10为底,单位为笛特(det)
1det=3.322bit
2. 性质
u 两种特殊情况
l p(xi)=1,确定事件,信息量I(xi)=0
l p(xi)=0 ,I(xi)=无穷,概率为0的事件带来极大的信息量
u I(xi) ≥0,非负性
u I(xi)是p(xi)的单调递减函数
u xi是一个随机量, I(xi)是xi的函数,也是随机变量,没有确定的值
Question?
自信息量I(xi)能反映整个信源的不确定性吗?
如果不能,那用什么量来反映呢?
3. 平均自信息量——信息熵H(X)
Answer:
用自信息量的平均值来描述
算术平均值
数学期望:加权平均值
1. 定义——信息熵
对于给定离散概率空间表示的信源所定义的随机变量I(xi)的数学期望(加权平均值)
2. 熵的物理含义
H(X)表示信源发出任何一个消息状态所携带的平均信息量
也等于在无噪声条件下,接收者收到一个消息状态所获得的平均信息量
熵的本意为热力学中表示分子状态的紊乱程度
信息论中熵表示信源中消息状态的不确定度
信源熵与信息量有不同的意义:
l H(X)表示信源X每一个状态所能提供的平均信息量
l H(X)表示信源X在没有发出符号以前,接收者对信源的平均不确定度
l H(X)表示随机变量X的随机性
二.条件自信息
联合集XY中,在事件yj发生的条件下,关于事件xi的条件(自)信息量为:
I(xi/yi) = - logp(xi/yi)
平均条件自信息量——条件熵
— 定义:
联合集XY上,条件自信息量I(xi/yj)的概率加权平均值
— 如何求平均?
先在X集合上求平均(此时,在yj事件发生的条件下)
再在Y集合上求平均
三.联合自信息
1.定义:
联合概率空间中任一联合事件的联合(自)信息量为:
I(xi,yi) = - logp(xi,yi)
当X和Y相互独立时,
2. 联合熵
联合集XY上,每对事件的自信息量的概率加权平均值定义为联合熵。
— 单位为比特/序列
— 将联合事件xiyj作为一个随机事件求平均不确定度
四.熵函数的性质
熵函数可表示为
- 非负性 H(X) ≥0
- 对称性
概率矢量中的各分量的次序任意变更时,熵值不变
- 确定性
信源概率空间中,任意一个概率分量等于1,其它概率分量必为0
信源为确知信源,其熵为0
- 连续性
- 扩展性
- 最大熵定理
条件熵小于无条件熵
推广:多条件熵小于少条件熵
- 条件熵小于无条件熵
五.几种自信息量之间的关系
— 自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性。
— 三者都是随机变量,其值随着变量xi和yj的变化而变化。
— 关系式:
六.几种熵之间的关系
小结:
— 一共介绍了
— 自信息量ß---->平均自信息量
— 联合自信息量ß---->联合熵
— 条件自信息量ß---->条件熵
— 引入另一个很重要的概念——互信息
— 涉及到信息的交互
七.互信息
1.定义
接收端收到集合Y 中的一个消息符号yj后,重新估计关于信源的各个消息xi发生的概率,为条件概率p(xi / yj),即后验概率。
互信息量=不确定程度的减少量
— 通信前
将信道看成关闭,可以认为输入随机变量X和输出随机变量Y之间没有任何关联关系,即X、Y统计独立。根据概率的性质,输入端出现xi和输出端出现yj的概率为:
此时,先验不确定度为
— 通信后
输入随机变量X和输出随机变量Y之间由信道的统计特性相联系。输入端出现xi和输出端出现yj的联合概率为
此时,后验不确定为
— 则,通信后流经信道的信息量等于通信前后不确定度的差,即yj带来关于xi的信息量:
互信息量定义为自信息量减去条件自信息量的差:
2.性质
1) 互易性:I(x;y) = I(y;x)
2) 互信息量可为0
3) 可正可负
4) 任何两个事件之间的互信息量小于其中任一事件的自信息量
3.平均互信息
— 联合集XY上求加权平均和
先在X集合上求平均
再在Y集合上求权平均值
综合一下,平均互信息量
在联合概率空间P(XY)中的统计平均值
4.平均互信息的性质
u 非负性:I(X;Y) ≥ 0
u 互易性:I(X;Y) =I(Y;X)
u 与熵和条件熵及联合熵关系
I(X;Y) = H(X) – H(X/Y) = H(Y) – H(Y/X) = H(X) + H(Y) –H(XY)
u 极值性
互信息量总是小于等于自信息量
接收者收到的信息量不可能大于信源发出的信息量
只有当信道为无噪声信道时,接收信息量才等于信源发出的信息量。
u 凸性函数性质
l 上凸性
n 当条件概率p(yj/xi)给定时,平均互信息量I(X;Y)是信源概率分布p(xi)的∩型上凸函数
n 极大值
n 信道容量C:对于给定的信道,总可以找到一个先验概率分布为pm(xi)的信源,使得平均互信息量达到最大值
n 这个信源为该信道的匹配信源
l 下凸性
n 当信源X的概率分布p(xi)保持不变时,平均互信息量I(X;Y)是条件概率分布p(yj/xi)的∪型下凸函数
n 极小值
n 信息率失真函数R(D)
u 信息不增性原理
l I(X,Y;Z)=I(X;Z)+I(Y;Z/X)
l I(X,Y;Z)=I(Y;Z)+I(X;Z/Y)
l 则有:I(X;Z)=I(Y;Z)+I(X;Z/Y)-I(Y;Z/X)
l 假设在Y条件下X与Z相互独立
n 即I(X;Z/Y)=0,且I(X;Y/Z)和I(Y;Z/X)均非负
n 则有:I(X;Z)≤I(Y;Z) I(X;Z)≤I(X;Y)
l I(X;Z)≤I(Y;Z) I(X;Z)≤I(X;Y)
l 含义
n 当消息经过多级处理时,随着处理级数的增多,输入消息和输出消息之间的平均互信息量趋于变小。
l 数据处理定理
n 数据的处理过程中只会失掉一些信息,绝不会创造出新的信息
n 信息不增性
Ø 疑义度
n I(X,Y)=H(X)-H(X/Y)
n 表示接收者收到Y后,对信源X仍然存在的平均不确定度
n 对于接收者来说,H(X)称为先验不确定度,H(X/Y)称为后验不确定度。
n 平均交互信息量等于不确定度的变化量
Ø 噪声熵
n 扩散度,噪声熵
n I(X,Y)=H(Y)-H(Y/X)
n 表示发信者发出X后,对信道输出Y仍然存在的平均不确定度
n 对于发信者来说,H(Y)称为先验不确定度,H(Y/X)称为后验不确定度。
n 平均交互信息量等于不确定度的变化量
Ø 联合熵(共熵)
l I(X,Y)=H(X)+H(Y)-H(X,Y)
l 表示通信完成之后,观察者对通信系统仍然存在的平均不确定度
l 对于观察来说
n H(X)+H(Y)称为先验不确定度
n H(X,Y)称为后验不确定度
l 平均交互信息量等于不确定度的变化量
l I(X,Y)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X)+H(Y)-H(X,Y)
【信息论】信源与信源熵(一)相关推荐
- 信息论基础(信息量、熵、KL散度、交叉熵)
信息论基础(信息量.熵.KL散度.交叉熵) 文章目录 信息论基础(信息量.熵.KL散度.交叉熵) 1. 信息量与熵 2. KL散度与交叉熵 交叉熵与LogisticLogisticLogistic回归 ...
- 【机器学习】信息论基础(联合熵、条件熵、交叉熵、KL散度等)+ Python代码实现
文章目录 一.基本概念 1.1 联合熵 1.2 条件熵 1.3 交叉熵 1.3.1 Python编程实现交叉熵计算 1.4相对熵(KL散度) 1.4.1 Python编程实现KL散度计算 二.自信息和 ...
- 信息论 | 计算离散信源的信息量和熵的MATLAB实现(函数封装调用)
<信息论基础> 实验报告 姓名 XX 班级 XXXXXX 学号 2020XXXXXXXX 实验项目 计算离散信源的熵 日期 2022.10.21 实验环境 联想电脑 MATLAB R201 ...
- [信息论与编码] 04. 熵的基本性质
熵的基本性质 1. 非负性:H(X) ≥ 0 熵描述的是某个集合统计意义上的不确定性,是自信息的加权平均. 而我们在一开始寻找描述不确定性的函数,引出自信息量概念的时候,便要求自信息的取值应在[0,+ ...
- 信息论常见概念:熵、互信息、KL散度和信息增益
文章目录 信息论在机器学习中的常见概念 1. 信息量 2. 熵 3. 联合熵 4. 条件熵 5. 相对熵 6. 互信息 7. 信息增益 公式与推导 信息论在机器学习中的常见概念 信息的不确定度表示. ...
- 离散信源的熵——信息论实验一(Matlab)
信息论与编码技术实验报告 学院: 信息科学与工程学院 班级: 2020通信工程1班 姓名: 麦兜 实验名称 实验一.离散信源的熵 实验设备 (1)计算机 (2)所用软件:Matlab或C 实验目 ...
- 离散信源熵的基本知识
信息论与编码是这学期上的一门课程,最近几周一直在讲离散信源熵的概念以及计算,今天是这一章节的最后一节课,想对这一章节的概念做一个基本的总结 1.离散信源的分类和数学模型 在离散时间发出离散符号的信源称 ...
- [信息论与编码]离散信源及其信息测度(2)
2021/11/23 from Xwhite 离散信源及其信息测度(补充) 离散无记忆信源的扩展信源 信源模型 信息熵 离散平稳信源及极限熵(非重点) 离散平稳信源 极限熵 信息冗余度(了解) 信源的 ...
- 信息论与编码之离散信源小结
目录 前言: 一.信源的数学模型与分类 1.数学模型 2.分类 二.离散无记忆信源的N次扩展 1.数学模型 三.离散平稳信源(重点:定义,联合熵,条件熵,平均符号熵,极限熵) 1.离散平稳信源 四.二 ...
- 【计算机科学与技术】信息论笔记(6):微分熵
200803本篇是学习信息论的入门笔记,希望能与各位分享进步!这是第六章:微分熵~ 文章目录 6. 微分熵 6.1 定义 6.2 连续随机变量的AEP 6.3 微分熵与离散的关系 6.4 联合微分熵与 ...
最新文章
- KVM — 与 QEMU 和 Libvirt 的关系
- 如何判断字符串所用何种加密编码
- Android的GridView和Gallery结合Demo
- js if判断多个条件_EXCEL一对多条件查找显示多个结果(INDEX+SMALL+IF+ROW函数组合)...
- apache 域名不变_apache 如何配置只能通过域名访问,不允许通过ip访问?
- 物联网解决方案应用之智能安防运维解决方案
- 关联规则:R与SAS的比较
- 领航机器人广告段子_医院机器人物流广告词
- Android设置TabLayout下划线宽度,靠谱版本!
- android 应用自启管理
- 数理统计基础-相关系数
- matlab图片导出无失真库export_fig介绍(半透明效果)
- 关于产品的一些思考——豌豆荚之应用下载
- 查找手机内所有app 包名
- 来自 采摘~~ Python
- JPEG2000压缩DICOM文件的解压(三)
- sql 行政区划关联查询优化_最新IP数据库 存储优化 查询性能优化 每秒解析上千万...
- 嵌入式系统之新建工程模版
- 快速配置 Sign In with Apple
- AI人士不得不了解的十大机器算法
热门文章
- FeHelper下载:(Chrome浏览器)
- 华硕主板固态硬盘不识别_主板启动设置无法识别固态硬盘 - 卡饭网
- 史密斯圆图matlab,用MATLAB程序实现Smith圆图的图解过程
- 百战程序员python百度网盘_【百战程序员】Python 文件I/O
- Quectel BC95-CNV 多频段、高性能、低功耗 LTE Cat NB2无线通信模块[移远通信]
- iOS逆向(八)逆向工具 otool 介绍
- STEP 7-Micro/WIN SMART 界面介绍
- 心海软件学心理测试系统,心海软件-心理测试、心理档案、心理咨询室管理系统...
- dos命令如何查看计算机信息,电脑DOS命令查看进程详细信息方法图解
- Docker容器-cgroups资源配置