信息论基础知识（一）

信息论的研究对象和目的

信息论的研究对象是广义的通信系统，它把所有的信息流通系统都抽象成一个统一的模型，如图：

目的：设计通信系统以及确定评价通信系统优劣标准

信息的度量

自信息

一个事件本身所包含的信息量，它是由事件的不确定性决定的，定义为：

比如抛掷一枚硬币结果是正面这个消息所包含的信息量。

互信息

一个事件所给出关于另一个事件的信息量，定义为：

比如今天下雨所给出关于明天下雨的信息量。

平均自信息

又称信息熵、信源熵，简称熵，即事件集所包含的平均信息量，它表示信源的平均不确定性，定义为：

即对事件集单个事件自信息组合取数学期望。比如抛掷一枚硬币的试验所包含的平均信息量。

性质

1.对称性

2.确定性

3.非负性

4.扩展性

5.连续性

6.递推性

7.极值性

8.上凸性

联合熵和条件熵

二维随机变量XY的联合熵定义为联合自信息的数学期望，它是二维随机变量XY的不准确性的度量
联合熵定义为：

考虑在给定X的条件下，随机变量Y不确定性度量即为条件熵，其定义为：

平均互信息

一个事件集所给出关于另一个1事件集的平均信息量，比如今天天气所给出关于明天的天气的信息量，其定义为：

性质

1.非负性

2.对称性

3.平均互信息和各类熵的关系

4.极值性

5.凸函数性

参考：信息论基础教程第三版李梅李亦龙王玉皞编著

信息论基础知识（一）相关推荐

国科大UCAS胡包钢教授《信息论与机器学习》课程第二讲：信息论基础一
来源:专知信息论中最为基本的概念就是香农熵(第8页),由此可以导出信息论中其它各种定义,以至我们常规应用的其它经验式定义(以后会提到).学习信息论基础知识时要避免仅是概念与定义的简单记忆,要尽量结合 ...
计算机基础知识第十讲,计算机文化基础（第十讲）学习笔记
计算机文化基础(第十讲)学习笔记采样和量化PictureElement Pixel(像素)(链接: 采样的实质就是要用多少点(这个点我们叫像素)来描述一张图像,比如,一幅420x570的图像,就表示 ...
一文让你完全弄懂逻辑回归和分类问题实战《繁凡的深度学习笔记》第 3 章分类问题与信息论基础（上）（DL笔记整理系列）
好吧,只好拆分为上下两篇发布了>_< 终于肝出来了,今天就是除夕夜了,祝大家新快乐!^q^ <繁凡的深度学习笔记>第 3 章分类问题与信息论基础 (上)(逻辑回归.Softm ...
【遥感数字图像处理】基础知识：第一章绪论
第一章绪论 ◆ 课程学习要求主要教学内容:遥感数字图像处理的概念和基础知识,遥感数字图像的几何处理,遥感图像的辐射校正,遥感数字图像的增强处理,遥感图像的计算机分类,遥感数字图像的分析方法, ...
计算机网络【二】物理层基础知识
计算机网络的性能速率:连接在计算机网络上的主机在数字信道上传送数据位数的速率,也成为data rate 或bit rate,单位是b/s,kb/s,Mb/s,Gb/s. 我们平时所讲的宽带的速度是以 ...
自然语言处理(2)-信息论基础
自然语言处理-数学基础概述 1.信息论基础 1.1熵 1.2 联合熵和条件熵 1.3 相对熵和交叉熵 1.4 互信息和双字耦合度 1.5 噪声信道模型概述本系列文章计划总结整理中国科学院大学宗成 ...
学习算法你必须知道的一些基础知识（文末福利）
点击标题下「异步社区」可快速关注机器学习是解决很多文本任务的基本工具,本文自然会花不少篇幅来介绍机器学习.要想搞明白什么是机器学习,一定要知道一些概率论和信息论的基本知识,本文就简单回顾一下这些知识 ...
计算机基础知识第一章测试题,计算机基础知识测试题第一章
第一章计算机基础知识一．单项选择题 1.信息能够实现增值主要因为信息具有( ) A.可处理性 B.价值性 C.共享性 D. 时效性 2.文化具有的基本属性不包括( ) A.广泛性 B.深刻性 C. ...
4.电子计算机的分类,公基计算机基础知识汇总40
公基计算机基础知识汇总40 (3页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.9 积分 3. 运算精度高电子计算机具有以往计算机无法比拟的计算精度, ...
CSP-S初赛基础知识整理
文章目录 CSP-S初赛基础知识整理 RT [1]计算机基础知识计算机系统的组成计算机硬件的五大组成 [1-2]进制及其转化和运算 [1-2]二进制 [1]基本定义及应用 [1]基本运算 [2]位 ...

信息论基础知识（一）

信息论的研究对象和目的