信息论

信息论（Information Theory）是数学、物理、统计、计算机科学等多个学科的交叉领域．信息论是由克劳德·香农最早提出的，主要研究信息的量化、存储和通信等方法．这里，“信息”是指一组消息的集合．假设在一个噪声通道上发送消息，我们需要考虑如何对每一个信息进行编码、传输以及解码，使得接收者可以尽可能准确地重构出消息．

在机器学习相关领域，信息论也有着大量的应用．比如特征抽取、统计推断、自然语言处理等．

1. 熵

熵（Entropy）最早是物理学的概念，用于表示一个热力学系统的无序程度．在信息论中，熵用来衡量一个随机事件的不确定性．

1.1 自信息和熵

自信息（Self Information）表示一个随机事件所包含的信息量．一个随机事件发生的概率越高，其自信息越低．如果一个事件必然发生，其自信息为0．

对于一个随机变量

【人工智能数学基础(五)】信息论相关推荐

人工智能数学基础10：域、函数及相关概念
☞ ░ 老猿Python博文目录░ 一.运算封闭若从某个非空数集中任选两个元素(同一元素可重复选出),选出的这两个元素通过某种(或几种)运算后的得数仍是该数集中的元素,那么,就说该集合对于这种(或几 ...
人工智能数学基础---定积分4：使用换元法计算定积分
一.引言在<人工智能数学基础–不定积分2:利用换元法求不定积分>介绍了三种换元法求不定积分的方法及案例,在<人工智能数学基础-定积分3:微积分基本公式(牛顿-莱布尼茨公式)> ...
人工智能数学基础--不定积分2：利用换元法求不定积分
一.引言在<人工智能数学基础–不定积分1:概念与性质>介绍了必须熟记的十三个基本积分公式及十一个扩展公式,利用这些公式以及不定积分的加法以及数乘性质,可以进行部分积分的计算,但非常有限, ...
人工智能数学基础--不定积分1：概念与性质
一.引言导数运算是根据一个函数求该函数对应导数的运算,导数本质上反映了函数在函数某点的运动态势,而不定积分则是根据一个已知的导函数求原函数,因此二者可以说是逆运算. 二.定义 2.1. 原函数定义 ...
人工智能数学基础：利用导数判断函数单调性、凹凸性、极值、最值和描绘函数图形
一.单调性判断定理定理: 设函数y=f(x)在[a,b]上连续,在(a,b)内可导. (1)如果在(a,b)内f(x)≥0,且等号仅在有限多个点处成立,那么函数y=f(x)在[a,b]上单调增加; ...
人工智能数学基础--导数3：隐函数求导、对数求导法、参数方程求导法
一.隐函数概念用y=f(x)这种方式定义的函数叫显函数,而隐函数是指没有使用这种方式定义,而是用类似F(x,y)=0这种方程方式来定义x和y关系的方式. 一般地,如果变量x和y满足一个方程F(x,y ...
人工智能数学基础-线性代数4：矩阵及矩阵运算
☞ ░ 老猿Python博文目录░ 本节用到了行列式的相关知识,而在行列式中用到了矩阵知识,但总体来说先介绍矩阵再介绍行列式更合适一些,行列式的知识大家只需要知道一个矩阵A对应的行列式记为符号|A|, ...
人工智能数学基础-线性代数5：行列式求解线性方程组和拉普拉斯定理
☞ ░ 老猿Python博文目录░ 一.逆序及逆序数在一个排列中,如果一对数的前后位置与大小顺序相反,即前面的数大于后面的数,那么它们就称为一个逆序.一个排列中逆序的总数就称为这个排列的逆序数.也就 ...
人工智能数学基础---不定积分4：有理函数求积分的方法
一.引言在<人工智能数学基础–不定积分2:利用换元法求不定积分>.<人工智能数学基础-不定积分3:分部积分法>分别介绍了换元积分法和分步积分法.但有些函数表达式很复杂,如果直 ...
人工智能数学基础---定积分1：定积分的概念以及近似计算
一.引言在日常计算中,需要进行一些非线性的计算,如曲边型的面积和变速直线运动的总里程等,由于非线性,导致这些计算不能使用常规的方法来进行.但如果将这些计算涉及的函数在其定义区间上细分成n(n-> ...

【人工智能数学基础(五)】信息论

文章目录

信息论

1. 熵

1.1 自信息和熵

【人工智能数学基础(五)】信息论相关推荐

最新文章

热门文章