熵的由来

概念公式由卡诺循环的效率而来。两个平衡状态从A到B，其熵的变化Δs=Sa−Sb=∫abdQT\varDelta s=S_a-S_b=\int\limits _a^b{\frac{dQ}{T}}Δs=Sa−Sb=a∫bTdQ,其等于任何A到B的可逆过程的dQT的积分\frac{dQ}{T}的积分TdQ的积分。熵是平衡状态的单值函数。

如果两个平衡状态是可逆的，则Δs=0\varDelta s =0Δs=0
如果不可逆，Δs>0\varDelta s >0Δs>0

熵与有序度的关系

熵可以表示封闭系统的有序程度，熵越大，越混乱。所以系统由非平衡态，变到平衡状态，只要过程不可逆，那么熵一定是增大的。
举个例子：把一滴墨水滴到一杯水中，墨水会扩散直到和水混合均匀，这个过程是不可逆的，那么整个系统的熵都是增大的。到最后，墨水和水混合均匀，此时系统的混乱程度最大，熵最大。

无序度与微观状态数

在孤立系统中任意微观状态出现的概率都是相同的。某一宏观状态相对应的微观状态数称为热力学概率。热力学概率是分子热运动的系统无序度的量度。而上面说的熵也是无序度的量度。所以熵和热力学概率就有某种联系。玻尔兹曼给出公式：
S=k⋅lnWS=k \cdot ln WS=k⋅lnW

信息熵

为了更好的理解信息和熵之间的关系，看一个例子：

只要有外界信息，就可以使信息的熵降低。
信息量定义：从两种互不相关的可能性之间做出一个选择，所需的信息的多少，作为信息量的单位，为1bit.
信息量越大，表示选择越多，做出判断越难。
仿照熵是系统混乱程度的量度，信息熵作为信息混乱程度的量度。信息熵越大，做出判断越难。
信息熵公式 S=−k∗∑1Npi∗lnpiS=-k*\sum\limits_{1}^{N} p_i*lnp_iS=−k∗1∑Npi∗lnpi
当有外部信息时，熵就会减少，减少的信息量就是信息增益。决策树裂分时如果裂分标准选择entropy，就是根据信息增益寻找裂分条件的。

参考书籍：《物理学》第六版马文蔚编著

由热力学到信息学-熵—信息熵相关推荐

理解熵(信息熵,交叉熵,相对熵)
Highlights: 1)信息熵:编码方案完美时,最短平均编码长度的是多少. 2)交叉熵:编码方案不一定完美时(由于对概率分布的估计不一定正确),平均编码长度的是多少. 平均编码长度 = 最短平均编 ...
用python输入概率分布，计算信源熵/信息熵
eval还可以输出矩阵,按input要求输入[p1,p2,...]后,type(p)是list. 要求概率>0,<1,且概率和为1. import numpy as npp = eval( ...
（热学热力学统计物理）大题典选--------热力学第二定律与熵
2.14 一可逆热机在两个温度分别为和的热源下工作.热源可看成是质量无限大,而热源是一个体积不变的一定量的气体(摩尔,等比热容).当热机工作了长时间后.热机工作了多少功? 2.22 设某理想气体的 ...
熵，信息熵，香农熵，微分熵，交叉熵，相对熵
2019-07-13 https://blog.csdn.net/landstream/article/details/82383503 https://blog.csdn.net/pipisorry ...
信息熵、条件熵、信息增益、相对熵、交叉熵解析
原文地址:https://www.cnblogs.com/kyrieng/p/8694705.html 1.信息熵 (information entropy) 熵 (entropy) 这一词最初来源于 ...
信息量、信息熵、KL散度、交叉熵
一.信息量定义: 香农(C. E. Shannon)信息论应用概率来描述不确定性.信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多:而消息的可能性愈大,则其信息量愈少:事件出现的概率小 ...
信息量、信息熵、条件熵、KL散度、交叉熵
文章目录 1. 信息量 2. 信息熵 3. 条件熵 4. 交叉熵与KL散度 4.1 公式推导 1. 信息量为了理解这个概念,我们先以两个具体的事件为例: 事件1:德国队获得世界杯冠军. 事件2: ...
信息熵、相对熵和交叉熵
此文章为了解交叉熵的小记,具体详细讲解可移至文末处参考文章信息熵信息的本质:信息是用来消除随机不确定性的东西: 信息量的大小与信息发生的概率成反比.概率越大,信息量越小.概率越小,信息量越大. 某 ...
信息熵/交叉熵/相对熵
参考致敬: 如何通俗的解释交叉熵与相对熵? https://www.zhihu.com/question/41252833 一文彻底搞懂信息熵.相对熵.交叉熵和条件熵(含例子) https://blo ...

由热力学到信息学-熵—信息熵

熵的由来

熵与有序度的关系

无序度与微观状态数

信息熵

由热力学到信息学-熵—信息熵相关推荐

最新文章

热门文章