一：各种熵的定义及理解

一、自信息I(ai):表示单个符号ai所携带的信息量，或者理解为单个时间发生时所包含的信息。

二、信源信息熵：输出各消息的自信息量I(ai)的数学期望。表示为 $H(X)=E(I(ai))=H(p1,p2,...,p_{q})$ ，其中X是一个随机事件，如概率空间(X,P(X))。信息熵描述的有如下两个意思：

1）描述信源X的平均不确定性

2）平均每个信源符号所携带的信息量

三、条件熵：H(X|Y)= $\sum p(x,y)log\frac{1}{p(x|y)}$ = $E(log\frac{1}{p(x|y)})$ ，其中 $log\frac{1}{p(x|y)}$ 代表条件自信息I(x|y),即观察到y以后x出现的不确定性。

思考：为什么条件熵用的是一个联合概率乘以条件自信息而不是用条件概率乘以条件自信息？

当给定条件Y=y时， $H(X|Y=y)=\sum p(x|y)log\frac{1}{p(x|y)}$ ,上面说到，熵描述的是平均每个符号

所携带的信息量，对于Y={y1,y2,...,yn}有: $H(X|Y)=\sum p(y)H(X|Y=y)=\sum p(y)\sum p(x|y)log\frac{1}{p(x|y)}$ ，y的边缘概率乘以条件概率得到联合概率p(x,y)。

可以理解为对于符号空间X中的每个符号xi，观察到Y={y1,y2,...,yn}后xi出现的不确定性。

四、联合熵：H(XY)= $\sum \sum p(x,y)log\frac{1}{p(x,y)}$ ,联合熵一般用于扩展信源中。

H(XY)=H(Y)+H(X|Y)：XY的联合不确定度等于知道Y的不确定度以后再加上知道Y的不确定度的条件下X的不确定度。

一：各种熵的定义及理解相关推荐

熵、KL散度、交叉熵公式及通俗理解
熵根据香农信息论中对于熵的定义,给定一个字符集,假设这个字符集是X,对x∈X,其出现概率为P(x),那么其最优编码(哈夫曼编码)平均需要的比特数等于这个字符集的熵. 如果字符集中字符概率越趋于平均, ...
mysql三大范式答案_数据库三大范式定义与理解
数据库三大范式定义与理解发布时间:2018-06-04 10:24, 浏览次数:291 一.第一范式(1NF) 要求: 要求:每一个分量必须是不可分的数据项. 特点: 1)有主键,且主键不能为空. ...
熵的定义（很好的方法论工具尤其第三熵增益的计算）
熵的定义 https://www.cnblogs.com/wkang/p/10068475.html 信息熵与信息熵增益 https://www.cnblogs.com/dengdan890730/p ...
群、环、域的概念,定义和理解.
群.环.域的概念,定义和理解. 以下链接很好的解释了群环域的概念. http://sparkandshine.net/algebraic-structure-primer-group-ring-fie ...
轻量级模型设计与部署总结（关键字定义/架构理解/高效CNN）
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[模型部署]技术交流群后台回复[模型部署工程]获取基于TensorRT的分类.检测任务 ...
熵速率定义与各类熵的关系
本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考.markdown版本已归档至[Github仓库:information-theory],需要的朋友们自取.或者公众号[AISha ...
关于机器学习的定义的理解
对机器学习定义的理解 Tom M.Mitcjell provided a widely quoted, more formal definition: "A computer progra ...
对极限定义的理解_宏观区间和微观区间_20160326
对极限定义的理解_宏观区间和微观区间
Python 中类的定义和理解
Python 中类的定义和理解前言一.类的定义二.具体的案例分析 1. 定义一个类 2. 类的实例化 3. 内置__init__方法欢迎学习交流! 邮箱: z-@1-6.com 网站: htt ...

一：各种熵的定义及理解

一：各种熵的定义及理解相关推荐

最新文章

热门文章