《数学之美》——第六章个人笔记

2024-04-18 05:28:22

数学之美

最近在读《数学之美》这本书，做一下个人笔记。看的是PDF，看完后会买一本的哦！版权意识还是有的。

ps：图片文字都是这本书中的内容，侵权立删。会有点自己的理解。

第六章信息的度量和作用

1 信息熵

从一个角度可以认为信息量就等于不确定性的多少。

信息熵（Entropy）,一般用符号H表示，单位是比特。

熵的定义:

变量的不确定性越大，熵也就越大。

文中有个关于冗余度的：重复的内容很多，信息量就小，冗余度就大。

2 信息的作用

一个事物内部会存有随机性，也就是不确定性：U。引入信息 I 消除不确定性,而信息量取决于U的大小。当 I < U 时，可以消除一部分不确定性，也就是说新的不确定性：U' = U - I 。

⭐条件熵

假设X和Y是两个随机变量，已知X的随机分布P(X),那么也就知道了X的熵。现在还知道Y和X的联合概率密度，以及在Y取不同值的前提下X的概率分布，即条件概率分布。定义在Y的条件下的条件熵为：

H(X) >= H(X丨Y)，也就是说多了Y的信息之后，关于X的不确定性下降了。在统计语言模型中，如果把Y看成是前一个字，那么在数学上就证明了二元模型的不确定性小于一元模型。同理，三元模型比二元好。（用条件熵解释了模型复杂度）

⭐信息的作用在于消除不确定性，NLP的大量问题就是寻找相关的信息。

3 互信息

互信息（Mutual Information）:作为两个随机事件“相关性”的量化度量。

假定有两个随机事件X 和 Y ，它们的互信息定义如下：

4 延伸阅读：相对熵（交叉熵）

相对熵用来衡量两个取值为正数的函数的相似性，定义：

三个结论：

①对于两个完全相同的函数，它们的相对熵是零。

②相对熵越大，两个函数差异越大；反之，则相反。

③对于概率分布或者概率密度函数，如果取值均大于零，相对熵可以度量两个随机分布的差异性。

⭐相对熵是不对称的：

为了计算方便：将上面的不等式两边取平均，即

《数学之美》——第六章个人笔记相关推荐

《数学之美》——第九章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第九章图 ...
《数学之美》——第一章个人笔记
数学之美最近在读<数学之美>这本书,做一下个人笔记.看的是PDF,看完后会买一本的哦!版权意识还是有的. ps:图片文字都是这本书中的内容,侵权立删.会有点自己的理解. 第一章文 ...
数学之美系列六 -- 图论和网络爬虫 (Web Crawlers)
数学之美系列六 -- 图论和网络爬虫 (Web Crawlers) [离散数学是当代数学的一个重要分支,也是计算机科学的数学基础.它包括数理逻辑.集合论.图论和近世代数四个分支.数理逻辑基于布尔运算, ...
数学之美第3章统计语言模型
数学之美第3章统计语言模型回顾一下: 前面两章都是基础知识,告诉我们自然语言的起源基础,和一些发展过程遇到的问题,第二章告诉我们规则:理解自然语言(即分析语句和获取语义)这种处理方法不可能实现智 ...
Python编程：从入门到实践第六章读书笔记6.3遍历字典
Python编程:从入门到实践第六章读书笔记6.3遍历字典 #coding:gbk#6.3.1遍历所有的键-值对 user_0 = {'username': 'efermi','first': 'en ...
工程伦理第六章学习笔记2020最新
工程伦理第六章学习笔记2020最新继续更新第六章
《数学之美（第一版）》笔记整理 —— 目录
序因为想对互联网的新兴技术有一些更好的了解,不断拓展自己的知识面,所以想到了吴军老师的<数学之美>,个人非常推荐大家阅读,可以对各种技术有一个入门的了解.吴军老师的讲法也很生动,对部分章 ...
《数学之美》选章精读
曾经花了一个月的时间阅读受推荐的书籍<数学之美>,对基于统计的自然语言处理的历史作一个大致的了解,每周精读一章,做下了一些粗略的笔记,算是有个交代吧. 第9章-图论和网络爬虫概念图论起 ...
chmod 777 什么意思：鸟哥的linux私房菜第六章学习笔记
鸟哥的linux私房菜基础学习篇:心血来潮决定看一下这本书,虽然都是讲很基础的东西,但是,绝对不是浪费时间,比如我看完了之后就终于明白了chmod777是什么意思了. 写这个读书笔记也主要是想记录一些 ...

最新文章

热门文章