信息论——信源信息量和信息熵
目录
一、概率基础知识
二、信源信息量和信息熵
离散有记忆信源
信源的随机性
信息量大小
自信息量；该符号出现后，提供给接收者的信息量，表示信源符号的先验不确定性
事件之间的互信息量：事件与事件之间的互信息量之所以存在，是因为两者之间存在相关，
条件自信息量：
联合自信息量
自信息量、互信息量、事件自信息量的计算举例
信息熵
信源熵：
条件熵：观测到集合Y后，集合X保留或者剩余的不确定性。
联合熵：事件X,Y同时发生的不确定性
互信息量（交互熵）：接收到Y后，所得到的关于X的信息量，或者X的不确定性减少量
各类熵之间的关系
一、概率基础知识
概率空间：
均值 ， 方差（是随机变量围绕均值分布离散程度的测度，或者说是随机变量混乱程度的一种测度。）
协方差
相关系数（反应变量相关程度的指标）
二、信源信息量和信息熵
信源分为离散信源（幅度和时间上都是离散的）和连续信源（时间上或者在幅度上是连续的）
根据消息符号之间是否关联还可分为有记忆信源（符号序列或者矢量）和无记忆信源（单个符号，也可以使用符号序列）
离散无记忆信源
可以用一个概率空间完全描述出来，即各个符号出现的概率一定，那么信源就确定了，信源一定，那么各个符号出现的概率就确定了，所以信源的消息符号及其概率分布完整地描述了信源的特性。
离散有记忆信源
当记忆长度为m+1时，即信源每次发出符号只与前m个符号相关，与更前面的符号无关，称这种信源为m阶马尔可夫信源。
如果条件概率与时间起点无关，这样的信源称为齐次马尔可夫信源 。
信源的随机性
1.某时刻输出符号是随机的，接收者事先不能确定
2.收到信息后可以消除或者减小这种不确定性（噪声，干扰存在，不能完全消除）
信息量
信息量定义应该遵循日常生活准则
(1)确定性事件，即P =1时，信息量应当为0；
(2)事件出现的概率越小，信息量应当越大；反之亦然；（Ø一个出现概率很小的符号，接收者事先很难猜测它是否会发生，而概率很大的符号，出现的可能性大，很容易猜测它的出现。）
(3)自信息量为非负的
(4)两个相互独立事件联合自信息量应等于它们各自两个信息量之和
按照上述准则，在函数空间寻找满足要求的函数来定义信息量
自信息量
该符号出现后，提供给接收者的信息量，表示信源符号的先验不确定性
注：
先验不确定性： 信源符号固有的
自信息量： 信源发出后该符号为接收者提供的信息量，是为了消除该符号不确定性，接收信息者需要获得的信息量
事件之间的互信息量：
事件与事件之间的互信息量之所以存在，是因为两者之间存在相关，
如果两者相互独立，则I(ai;bj)=0.
如果事件ai出现有利于事件bj的出现，那么I(ai;bj)>0
如果事件ai的出现不利于事件bj的出现，那么I(ai;bj)<0
条件自信息量：
在事件bj给定条件下 ,关于事件ai的不确定性 ;也是给定bj条件情况下，为了唯一确定ai的出现所必须提供的信息量。
I(ai|bj)较大时，则给出的关于事件ai出现保留较大的不确定性，反之就小。
联合自信息量
自信息量、互信息量、事件自信息量的计算
信息熵
自信息量反映了信源单个符号的先验不确定性，或者信源输出某一消息所包含的信息量，即信源单个消息符号信息量的大小;
信源输出的消息不同，各个消息符号对应的概率不同，所包含的信息量也就不同，所以它反映的只是具体输出消息符号的特性，不能够反映信源的总体特性，不能够作为信源的信息度量，只是单个符号的信息度量。
下面讨论信源的总体不确定性，或者每输出一个消息符号所能够提供的信息量平均值，即平均信息量，也称为熵。
熵
定义自信息量的数学期望为信源的平均自信息量，也称为熵
当p＝0.5时，即两个符号出现概率相等时，对应的熵最大，H(x)=1比特/符号；由于p＝0.5时，两个符号输出的概率相等，信源没有输出之前，很难猜测哪个消息会出现；
当p<0.5时，出现的概率较大，比较容易猜中a2,所以提供的信息量少。尽管a2信息量较大，但由于出现概率小，出现的次数较少, 综合起来，信源的不确定性小
信源熵：
对于信道传输而言，信源熵只是反映了信源平均先验不确定性，一般情况下，并不等于信宿获得的平均信息量，只有在理想信道，即无噪声干扰情况下，信宿才能准确接收信源发出的消息，从而完全消除平均不确定性，获得的信息量的均值为H(X)。
条件熵：观测到集合Y后，集合X保留或者剩余的不确定性。
联合熵：事件X,Y同时发生的不确定性
互信息量（交互熵）：接收到Y后，所得到的关于X的信息量，或者X的不确定性减少量
各类熵之间的关系
信息论——信源信息量和信息熵相关推荐
- 信息量和信息熵的理解
信息量和信息熵的概念最早是出现在通信理论中的,其概念最早是由信息论鼻祖香农在其经典的paper<A Mathematical Theory of Communication>中提出的.如今 ...
- 信息量、信息熵、交叉熵、KL散度、JS散度、Wasserstein距离
前两篇介绍了目标检测中的回归损失函数,本来这篇打算介绍目标检测中的分类损失函数.但是介绍classification loss function自然绕不过交叉熵,所以还是简单的把信息论中的一些概念在这 ...
- 一文读懂信息量、信息熵、相对熵（KL散度）和交叉熵
在人工智能深度学习的应用中,损失函数绝对是模型网络学习质量的关键.我们使用损失函数来表示的真实值与预测值之间的距离,进而指导模型的收敛方向.对于标量来说,我们能够很容易想到使用方差来描述误差.那么,如 ...
- 理解 信息量、信息熵 和 信息增益
前言 最近学习机器学习.决策树一节有两个核心概念:信息量和信息熵.查了一些资料,将理解记录在此. 信息量 试着将世界上的一些习以为常的东西量化,是提高生活效率和质量的一大核心方式.和人聊天,看电影,战 ...
- 信息量、信息熵、条件熵、KL散度、交叉熵
文章目录 1. 信息量 2. 信息熵 3. 条件熵 4. 交叉熵与KL散度 4.1 公式推导 1. 信息量 为了理解这个概念,我们先以两个具体的事件为例: 事件1:德国队获得世界杯冠军. 事件2: ...
- 信息论基础(信息量、熵、KL散度、交叉熵)
信息论基础(信息量.熵.KL散度.交叉熵) 文章目录 信息论基础(信息量.熵.KL散度.交叉熵) 1. 信息量与熵 2. KL散度与交叉熵 交叉熵与LogisticLogisticLogistic回归 ...
- 信息量，信息熵，纯度
如果看不懂博文,请阅读<信息论基础>一看便懂. 链接:https://pan.baidu.com/s/1T7rS4owM2nU_DP6rthqUPA 提取码:zu9s (1)消息 消息 ...
- 信息量、信息熵、信息增益的理解
文章目录 一.信息量 1. 一些概念的理解 2. 用概率表示信息量 二.信息熵 1. 信息熵的计算方法 2. 信息熵的最大值.最小值 三.信息增益(Information Gain) 1. 定义 2. ...
- matlab图像信息熵交叉熵,【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）...
首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人,以前很是著名的那篇LSTM讲解的文章也是他写的.这篇文章详细讲解了信息 ...
- 信息量、信息熵、KL散度、交叉熵
一.信息量 定义: 香农(C. E. Shannon)信息论应用概率来描述不确定性.信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多:而消息的可能性愈大,则其信息量愈少:事件出现的概率小 ...
最新文章
- Chrome OS与平板电脑才是珠联璧合
- R语言：ggplot2
- springBoot Maven改成war包
- Java中final和static对修饰类、方法、属性的总结
- php实现防止sql注入的通用方法,PHP实现防止sql注入的通用方法
- kotlin键值对数组_Kotlin程序以升序对数组进行排序
- tableView的用法具体解释
- hive對於數據是懶加載的_hive 安装 文档
- 拼多多这是得罪华为了？
- Python 计算彩色图像信噪比
- ZooKeeper JMX enabled by default
- Mysql 密码忘了怎么办？
- ppi 各代iphone_iPhone
- 时间戳 与 Unix时间戳
- CDN防护和高防服务器哪个更适合网站？
- dreamweaver作业静态HTML网页设计模板 中国传统书法
- 关于存储的认识（RAM＜SRAM、DRAM、SDRAM＞ ROM ＜PROM、EPROM、EEPROM＞ FLASH＜NOR、NAND＞）
- 流利阅读12.20 Angry young women: A new generation of activists is challenging misogyny
- 开机 提示Reboot and select proper boot device or Insert Boot Media in selected Boot device and press a
- mysql联合索引怎么存储_联合索引在B+树上的存储结构及数据查找方式