《数学之美》第6章信息的度量和作用

2024-04-27 10:37:26

1 信息熵

一条信息的信息量与其不确定性有着直接的关系。信息量就等于不确定性的多少。

如何量化信息量的度量？信息熵（entropy）用符号H表示，单位是比特。

变量的不确定性越大，熵也就越大。

如果一本书重复的内容很多，它的信息量就小，冗余度就大。

不同语言的冗余度差别很大，而汉语在所有语言中冗余度是相对小的。

2 信息的作用

信息和消除不确定性是相互联系的。

信息是消除系统不确定性的唯一办法（在没有获得任何信息前，一个系统就像是一个黑盒子，引入信息，就可以了解黑盒子系统的内部结构）

网页搜索的本质也是利用信息消除不确定性的过程。

合理利用信息，而非玩弄公式和机器学习的算法，是做好搜索的关键。

条件熵：

，也就是说多了Y的信息之后，关于X的不确定性就下降了！在统计语言模型中，如果把Y看成是前一个字，那么在数学上就证明了二元模型的不确定性小于一元模型。

上述等号什么时候成立？等号成立，说明增加了信息，不确定性却没有降低。如果我们或缺的信息与要研究的事物毫无关系，等号就成立。

信息的作用在于消除不确定性，自然语言处理的大量问题就是寻找相关信息。

3 互信息

香农提出一个“互信息”的概念作为两个随机事件“相关性”的量化度量。

所谓两个事件相关性的量化度量，就是在了解其中一个Y的前提下，对消除另一个X不确定性所提供的信息量。

4 相对熵

相对熵也用来衡量相关性，但和变量的互信息不同，它用来衡量两个取值为正数的函数的相关性。

两个完全相同的函数，它们的相对熵等于零。

相对熵越大，两个函数差异越大；反之，相对熵越小，两个函数差异越小。

对于概率分布或者概率密度函数，如果取值均大于零，相对熵可以度量两个随机分布的差异性。

《数学之美》第6章信息的度量和作用相关推荐

《数学之美》第六章信息的度量和作用
<数学之美> 第六章信息的度量和作用信息量等于不确定性的多少香农定理中,用比特bit这个概念来度量信息量.一个比特是一位二进制数,计算机中一个字节是8比特信息熵,一般用符号H表示 ...
《数学之美》第六章——信息的度量和作用
1 信息熵一条信息的信息量与其不确定性有着直接的关系. 如何一件事情非常不确定,我们要搞清楚就需要了解大量的信息.如果一件事情了解较多,则只需要少量信息就可以搞清楚. 可以认为,信息量就等于不确定性 ...
数学之美第3章统计语言模型
数学之美第3章统计语言模型回顾一下: 前面两章都是基础知识,告诉我们自然语言的起源基础,和一些发展过程遇到的问题,第二章告诉我们规则:理解自然语言(即分析语句和获取语义)这种处理方法不可能实现智 ...
《数学之美》——第九章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第九章图 ...
《数学之美》选章精读
曾经花了一个月的时间阅读受推荐的书籍<数学之美>,对基于统计的自然语言处理的历史作一个大致的了解,每周精读一章,做下了一些粗略的笔记,算是有个交代吧. 第9章-图论和网络爬虫概念图论起 ...
《数学之美》——第一章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第一章文 ...
《数学之美》第一章读后感
第一章分别讲述了早期信息的传播,文字和数字的发展,文字和语言背后的数学三个部分. 我从中了解到了信息传递,不论是早期的远古社会,还是如今快速发展的互联网时代,其规律都是异曲同工的.比如信息传播的模型都 ...
数学之美：信息的度量和作用 KL散度自信息熵相对熵 KL divergence entropy
当上述公式中概率相等时会推出,H刚好等于5比特. 自信息: 一条信息的信息量与该信息的不确定性有关.如果想要搞懂一件非常不清楚的事,就需要了解大量的信息,相反如果一件事我们已经了如指掌,那就不需要太多 ...
数学之美-读书笔记6-10章
文章目录数学之美第六章信息的度量和作用 1信息熵 2信息的作用 3互信息 4延伸阅读第7章贾里尼克和现代语言处理 1早年生活 2 从水门事件到莫妮卡·莱文斯基 3一位老人的奇迹第八章简单 ...

最新文章

热门文章