信息熵(entropy)定义公式的简单理解

首先公式长这样： H ( X ) = − ∑ i = 1 n p ( x i ) log ⁡ p ( x i ) H(X)=-\sum_{i=1}^{n} p\left(x_{i}\right) \log p\left(x_{i}\right) H(X)=−i=1∑np(xi)logp(xi) P x i P_{x_{i}} Pxi表示随机事件X为 x i x_{i} xi的概率。

这里直接给出一些结论。对于某一事件，其发生的概率越小，那么其信息量越大；发生的概率越大，那么其信息量越小(最小不小于0)。因此，有信息量公式如下： h ( x ) = − log ⁡ 2 p ( x ) h(x)=-\log _{2} p(x) h(x)=−log2p(x) 从这里还可以发现一个事实：如果某一事件的概率为100%，那么其信息量为0，即"已经确定的信息没有传递的价值"。

再看信息熵的定义。信息量度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。说白了，信息熵就是信息量的数学期望，所以有： H ( X ) = − ∑ i = 1 n p ( x i ) log ⁡ p ( x i ) H(X)=-\sum_{i=1}^{n} p\left(x_{i}\right) \log p\left(x_{i}\right) H(X)=−i=1∑np(xi)logp(xi)

信息熵(entropy)定义公式的简单理解相关推荐

信息熵、交叉熵、KL散度公式的简单理解
整理:我不爱机器学习 1 信息量信息量是对信息的度量,就跟时间的度量是秒一样,考虑一个离散的随机变量 x 的时候,当观察到的这个变量的一个具体值的时候,我们接收到了多少信息呢? 例如听到太阳从东方升 ...
信息熵(entropy)以及图像信息熵的理解
关于信息熵,参考以下博文内容进行了理解: https://blog.csdn.net/saltriver/article/details/53056816 https://y1ran.blog.csd ...
【转载】Deep learning：十九(RBM简单理解)
Deep learning:十九(RBM简单理解) 这篇博客主要用来简单介绍下RBM网络,因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成,所以对RBM的理解有利于我 ...
CPD配准算法及代码的简单理解（Coherent Point Drift）
我的毕业设计用到了CPD算法,以及CPD代码工具包,当时刚开始接触CPD时在网上没找到几篇教程或是经验总结的东西.现在毕设做完了,就结合我的理解写一篇文章.可能写的会有点乱,因为我也是一时兴起想要做一 ...
人工智能：深度学习算法及应用——简单理解CNN卷积神经网络并python实现（带源码）
深度学习算法及应用一. 实验目的二. 实验要求三. 实验的硬件.软件平台四. 实验原理 1.1. 深度学习概述 1.2. 深度学习的常见结构 1.3. 卷积神经网络(CNN) **卷积** * ...
以拼音输入法（自然语言处理）为例，简单理解隐含马尔可夫模型
最近在学习语音&搜索方面的知识,属于从门外汉起步,很多这方面的书在讲解的时候都是要求有相关知识背景或者是一堆公式让像我这样不是学计算机出身而且数学也学得不好的菜鸟看得头晕眼花的,因此特地写 ...
简单理解椭圆曲线的非对称加密应用
椭圆曲线的确很复杂,涉及理论知识较多,尤其是数学知识太多太多,无法一窥全貌,经过理解,我觉得最需要理解的就是,那条经典的椭圆曲线有什么神秘之处,优势如何实现非对称密码加密的,如果觉得有用,请给个简短评 ...
简单理解符号执行技术
0X00 前言因为最近看的很多静态检测的论文中涉及到了符号执行的概念,而在我第一次听到符号执行实际上是在我的一些搞二进制学长口中,自然认为是和 web 没啥关系,但是现在看来只是因为我我太菜了,很多 ...
Deep Reinforcement Learning: Pong from Pixels翻译和简单理解
原文链接: http://karpathy.github.io/2016/05/31/rl/ 文章目录原文链接: 前言 Policy-Gradient结构流程图 Deep Reinforcement ...

信息熵(entropy)定义公式的简单理解

信息熵(entropy)定义公式的简单理解相关推荐

最新文章

热门文章