信息论是在信息或不确定性可度量的前提下，研究有效、可靠、安全地传输信息的科学。
（【注】：符号约定：大写字母表示集合，小写字母表示集合中的事件）

1.前言

从常识来看，小概率事件的不确定性大，一旦出现必然使人感到意外，因此产生的信息量就大，特别是几乎不可能出现的事件一旦出现，必然产生极大的信息量；大概率事件是预料之中的事件，不确定性小，即使发生也没什么信息量，特别是概率为1的确定事件发生以后，不会给人以任何信息量。一般的，事件发生的概率越小，其不确定性越大，事件发生以后所含有的信息量就越大。

2.自信息与互信息

自信息是对消息或消息集合本身所含信息量多少的度量；而互信息是对消息之间或消息集合之间相互提供信息量多少的度量。

2.1 自信息

事件集合X中的事件x=a_i的自信息定义为：
IX(ai)=−logPX(ai)I_X(a_i)=-logP_X(a_i)IX(ai)=−logPX(ai)
简记为：I(x)=−logp(x)I(x)=-logp(x)I(x)=−logp(x)

要求自信息I为非负值，对数的底必须大于1.
关于对数底的选取有以下几种：

以2为底：单位为比特（bit），工程上常用。
以3为底：单位为Tit。

例题：

4.信息熵/熵（Entropy）

自信息的平均值称为信息熵，又称为Shannon熵、通信熵，简称为熵，记为H(X)。
即H(X)=E[I(X)]=∑xpX(x)I(x)=−∑xp(x)logp(x)H(X)=E[I(X)]=\sum\limits_{x} p_X(x)I(x)=-\sum\limits_{x} p(x)logp(x)H(X)=E[I(X)]=x∑pX(x)I(x)=−x∑p(x)logp(x)
信息熵表明了X中事件发生的平均不确定性，即为了在观测或试验之前确定X中发生一个事件平均所需要的信息，或者在观测之后，确定X中每发生一个事件平均给出的信息量。

例题：

【注】：信息熵越大，不确定性越高。

与热力学上的熵类似，信息熵也是紊乱程度的一种度量。信息熵也是动态的，信息熵只会减少，不可能增加，这就是信息熵不增原理。

5.交叉熵

6.KL散度

7.马尔科夫链

7.1 基本概念

马尔科夫链是一种特殊的随机过程，即是一种时间离散、状态离散的无后效过程。

7.2 转移概率

一步转移概率：

n步转移概率：

7.3齐次性和遍历性

（关于马尔科夫链的相关知识，未完待续）

深度学习基础知识——信息论（自信息、信息熵与马尔科夫链）相关推荐

【强化学习】MOVE37-Introduction（导论）/马尔科夫链/马尔科夫决策过程
写在前面的话:从今日起,我会边跟着硅谷大牛Siraj的MOVE 37系列课程学习Reinforcement Learning(强化学习算法),边更新这个系列.课程包含视频和文字,课堂笔记会按视频为单位 ...
【深度剖析HMM（附Python代码）】1.前言及隐马尔科夫链HMM的背景
1. 前言隐马尔科夫HMM模型是一类重要的机器学习方法,其主要用于序列数据的分析,广泛应用于语音识别.文本翻译.序列预测.中文分词等多个领域.虽然近年来,由于RNN等深度学习方法的发展,HMM模型逐 ...
学习笔记四：HMM（隐马尔科夫模型）
第四章 HMM 1.隐马尔科夫模型的基本概念引入例子:天气和冰激凌问题想象你是2799年的气候学家,正在研究全球变暖的历史你无法找到任何关于北京2020年夏天的天气记录但你找到了小米的日记本 ...
基于马尔科夫链的关于CpG岛的模式识别分类学习器
这是模式识别课上的一个作业,本人花了一点时间做了一下,发现分类器的学习结果勉强还能接受,在这里分享一下. 关于CpG岛:我们知道,生物的基因组是由A,T,G,C四种核苷酸组成的序列.人的一套基因组单链 ...
深度学习-清晰易懂的马尔科夫链原理介绍
马尔科夫链是一种非常常见且相对简单的统计随机过程,从文本生成到金融建模,它们在许多不同领域都得到了应用.马尔科夫链在概念上非常直观且易于实现,因为它们不需要使用任何高级的数学概念,是一种概率建模和数据 ...
强化学习之马尔科夫过程与马尔科夫链（附py代码，因为是自己打的，没完成的功能慢慢打）
1.马尔可夫过程 1.1马尔可夫性或无后效性马尔可夫过程最显著的特点是:如果在已知目前过程状态的条件下,过程未来的演变不依赖于它以往的演变. 即当随机过程时刻 ti 的状态已知的情况下,过程在t & ...
MCMC学习笔记-马尔科夫链概述
参考文章:MCMC(二)马尔科夫链 - 刘建平Pinard - 博客园写给小白看的马尔科夫链(Markov Chain)最佳入门教程_许进进的博客-CSDN博客_markov链目录 1.马尔科夫链 ...
【深度剖析HMM（附Python代码）】2.隐马尔科夫链HMM的EM训练过程
隐马尔科夫链HMM的参数θ的EM训练过程现在回到前一节最后提出的参数θ的最大似然函数上来,先对其做个对数变换,做对数变换是考虑到序列X的概率计算公式中包含了连乘,为了方便计算同时避免序列X的概率过小 ...
强化学习（一）---马尔科夫决策过程
目录先大致了解工智能,机器学习,深度学习之间的联系与区别主学习网址莫烦python网址 [David Silver强化学习公开课中文讲解及实践](https://zhuanlan.zhihu.c ...
强化学习(一)--＞隐马尔科夫模型HMM--＞HMM模型基础
隐马尔科夫模型HMM 隐马尔科夫模型算是比较经典的机器学习模型了,在自然语言处理.语言识别.模型识别等这些领域也得到了广泛的应用.在深度学习的崛起,尤其是RNN.LSTM等神经网络序列模型的火热,HM ...

深度学习基础知识——信息论（自信息、信息熵与马尔科夫链）