熵为什么使用log？

首先，信息也是物理量，就像质量kg，我们测量质量的方法是，我们选择一个参照物，把这个物体的质量定义为1kg，当想要测量其它物体的质量时就看这个这个物体的质量相当于多少个参照物的质量，这里的多少个便是kg。

上图中待测物体的质量m等于参照物体的质量B乘以参照物体的个数n，所以当知道总质量m要求个数n时，我们用乘法的反函数，既除法来计算。

但是测量信息时，不能用除法，比如抛掷3枚硬币能够产生的结果是2的3次方=8种，而不是2*3=6种，是指数关系而不是线性关系，所以当知道可能情况的个数m，想求这些情况相当于多少个（n）参照事件所产生的时，用指数运算的反函数，即对数函数来计算，如下图。

如果换成选择题，四个选项，选c的概率是1/2，其余三个选项概率相通都是1/6,熵如何计算呢？需要分别测量待测试件的每种可能情况的信息量后，乘以他们各自的发生概率再相加即可。

首先需要计算概率为1/6的情况的不确定性相当于投掷多少次硬币所产生的的不确定性m，我们知道1%会发生的情况，相当于从100个等概率情况中确定实际情况，概率的倒数等于概率情况的格式，m=1/p，用1/p替换等概率情况个数m后，我们就可以计算每种情况的信息量了，如下图。

最后，-logp 就是一种可能性的信息量，一个事件总的信息量就是每一种可能的情况的信息量乘以它们发生的概率，其实就是信息量的数学期望。

至于log的底，我理解他就是一个参考量，机器学习中常用e作为底，有时确实方便计算。

熵为什么使用log？相关推荐

机器学习入门（08）— 损失函数作用和分类（均方误差、交叉熵误差）
神经网络的学习中的"学习"是指从训练数据中自动获取最优权重参数的过程. 为了使神经网络能进行学习,将导入损失函数这一指标.而学习的目的就是以该损失函数为基准,找出能使它的值达到最小 ...
一文总览机器学习中各种【熵】的含义及本质
https://www.toutiao.com/a6681435530564993544/ 2019-04-19 11:02:15 机器学习领域有一个十分有魅力的词:熵.然而究竟什么是熵,相信多数人都 ...
[机器学习]理解熵，交叉熵和交叉熵的应用
一信息量信息论当中的熵指的是信息量的混乱程度,也可以理解成信息量的大小. 举个简单的例子,以下两个句子,哪一个句子的信息量更大呢? 我今天没中彩票我今天中彩票了从文本上来看,这两句话的字数一致 ...
损失函数（交叉熵误差）
损失函数神经网络以某个指标为线索寻找最优权重参数.神经网络的学习中所用的指标称为损失函数 (loss function).这个损失函数可以使用任意函数,但一般用均方误差和交叉熵误差等. 交叉熵误差 ...
排列熵、模糊熵、近似熵、样本熵的原理及MATLAB实现之模糊熵
目录二.模糊熵 1.概念 2.基本原理 3.MATLAB代码 4.参考文献说明:关于排列熵的内容请阅读博客:排列熵.模糊熵.近似熵.样本熵的原理及MATLAB实现二.模糊熵 1.概念在样本熵的 ...
度量学习（Metric learning）—— 基于分类损失函数（softmax、交叉熵、cosface、arcface）
概述首先,我们把loss归为两类:一类是本篇讲述的基于softmax的,一类是基于pair对的(如对比损失.三元损失等). 基于pair对的,参考我的另一篇博客: https://blog.csdn ...
从信息熵、相对熵到交叉熵损失函数
信息熵.相对熵和交叉熵是机器学习中非常重要的概念,它们都是用来衡量不同概率分布之间的差异.在这篇博客中,我们将分别介绍这些概念,并用通俗易懂的语言以及实例的方式来阐述它们的含义. 信息熵信息熵(En ...
机器学习入门-决策树算法
决策树:从根节点开始一步步到叶子节点,所有的数据最后都落到叶子节点里面,既可以用来做分类也可以用来做回归树的组成: 1.根节点(第一个参数) 2.非子叶节点与分支: 中间过程 3. 子叶节点,最终的 ...
决策树准确率低原因_机器学习决策树算法--剪枝算法
一.剪枝算法决策树生成算法递归地产生决策树,直到不能继续下去为止.这样产生的树往往对训练数据的分类很准确,但对未知的测试数据的分类却没有那么准确,即出现过拟合现象.过拟合的原因在于学习时过多地考虑如何 ...

熵为什么使用log？

熵为什么使用log？相关推荐

最新文章

热门文章