什么是熵，信息熵以及粗糙熵

熵（描述事物的混乱程度），最早起源于热力学第二定律。—— 不可能把热从低温物体传到高温物体而不产生其他影响，或不可能从单一热源取热使之完全转换为有用的功而不产生其他影响，或不可逆热力过程熵的微增量总是大于零。又称“熵增定律”，表明了在自然过程中，一个孤立系统的总混乱度（即“熵”）不会减小。违反热力学第二定律的永动机又称为第二类永动机。

以物理学的角度来讲，物体都是由微小粒子构成的。从微观角度来看，分子无时无刻不在做无规则的运动：从宏观的角度来讲，事物会自发的向无序的方向发展，所以物体的熵是不断增加的。而且这将是一个不可逆的过程。例如，把一滴墨水滴入清水中，墨水分子会在水中做无规则运动，向各个方向散开，最后完全混合。在这个过程中由于分子运动，墨水和水不断的交融，导致整个参考空间的混乱程度不断增加——熵增大。最后全部融合为墨水混合物为一种物体，最后在此参考空间中熵再减小最终为一种物体。

用统计学的知识来讲，我们抛一枚硬币，记录下来正面和反面的次数。若是次数在10次以内的时候可能会出现7次或以上的正面但是我们若是进行十万次，百万次的实验之后会发现硬币正反面的次数会接近1：1.。

再如太阳在其表面会不断地进行核聚变，它将能量源源不断的向四周辐射。辐射到达地球表面为地球带来了能量与生机。但是就太阳而言，不断地发生核聚变以及不断地向外辐射会是太阳的熵增加，当几十亿年后，太阳耗尽了它的全部能量。最后不断膨胀体积变大，最后坍缩成黑洞。这其实就是验证了热力学第二定律体现。我们推广到全宇宙，宇宙的整体的能量也是一定的，能量朝着消耗的方向发展，熵也是不断地增加，直到所有能量消耗殆尽。如同前面讲的墨水混合一样，最后宇宙回归到一个完全混沌的状态。

就我们赖以生存的家园地球来说，随着人口的不断增加，污染严重，资源消耗。其实就是熵增加的表现，在一个封闭的空间中熵始终会不可避免的增加。对于现在而言，地球这个系统还有太阳作为能量的源泉进行供能，可以把地球整体的熵控制在适合人类生存的范围之内。有机体的生长所体现的熵的微小的、局部的递减，都伴随着宇宙总熵的更大范围的递增。人类一个个衰老死亡。我们坐在火堆旁，看着火苗慢慢燃尽，只留下灰白色的灰烬。我们历经沧桑变迁，而这个经历就是熵定律的展开。这就是不可逆转的能量耗散过程。熵定律告诉我们，每当一定的有效能量被消耗掉，周围环境的混乱就会増加。现代工业社会巨大的能量流通，给我们居住的世界带来了极大的混乱。技术现代化的进程越快，能量转化的速度也就越高，有效能量就耗散得越多，混乱程度也就越大。我们竭力把一切活动技术化、条理化，而结果只是加快了能量转化和熵的过程。

，

从道教或者玄学的角度来讲，人类生老病死应顺其自然。逆天改命是一个非常有意思的词汇，虽然随着科学的发展人类的寿命在延长，但是长生不老本来就是逆天而行，即使对于人类个体而言寿命增加了但实际上对于地球的这个相对大的系而言是会带来更大的混乱。顺气自然，妙不可言。平衡是世间万物所达到的最终状态。现在，我们明白熵其实就是无序化的度量，无序化代表着混乱（数学上称为“随机过程“）。在物理上的解释就是，任何粒子的常态都是随机运动，也就是"无序运动"，如果让粒子呈现"有序化"，必须耗费能量。所以，能量可以被看作"有序化"的一种度量。热力学第二定律实际上是说，当一种形式的"有序化"转化为另一种形式的"有序化"，必然伴随产生某种"无序化"。一旦能量以"无序化"的形式存在，就无法再利用了，除非从外界输入新的能量，让无序状态重新变成有序状态。

信息熵与知识粒

香农熵：一条信息的信息量大小和它的不确定性有直接的关系。比如说，我们要搞清楚一件非常非常不确定的事，或是我们一无所知的事情，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们不需要太多的信息就能把它搞清楚。所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。

以世界杯赛为例。大家都很关心谁会是冠军。假如我错过了看世界杯，赛后我问一个知道比赛结果的观众“哪支球队是冠军”？他不愿意直接告诉我，而要让我猜，并且我每猜一次，他要收一元钱才肯告诉我是否猜对了，那么我需要付给他多少钱才能知道谁是冠军呢? 我可以把球队编上号，从 1 到 32，然后提问： “冠军的球队在 1-16 号中吗?” 假如他告诉我猜对了，我会接着问： “冠军在 1-8 号中吗?” 假如他告诉我猜错了，我自然知道冠军队在 9-16 中。这样最多只需要五次，我就能知道哪支球队是冠军。此时可能会发现我们实际上可能不需要猜五次就能猜出谁是冠军，因为象巴西、德国、意大利这样的球队得冠军的可能性比日本、美国、韩国等队大的多。因此，我们第一次猜测时不需要把 32 个球队等分成两个组，而可以把少数几个最可能的球队分成一组，把其它队分成另一组。然后我们猜冠军球队是否在那几只热门队中。我们重复这样的过程，根据夺冠概率对剩下的候选球队分组，直到找到冠军队。这样，我们也许三次或四次就猜出结果。因此，当每个球队夺冠的可能性（概率）不等时，“谁世界杯冠军”的信息量的信息量比五比特少。香农指出，它的准确信息量应该是

信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。

令 K = (U, R) 为一个近似空间，U为一个非空有限的论域。R为划分论域的一个相似关系其中

为所有不可分辨关系，信息粒的集合，

对于离散的数据：

而连续的数据：

在粗糙集的表示中上近似和下近似分别为

让我们来定义信息度量 Let K = (U, R) be an approximation space, and R a partitionof U. A measure of uncertainty in rough set theory is defined by:

这里我们使用R/U来表示香农熵中的第i个事件所发生的概率，有G(R)=H(P).假设P、Q都是论域U的子集而且P < Q 那么有

IF P<Q,那么存在G(p) < G(Q) 所以当论域划分的更细时，知识的信息度量会变大.

信息熵

其中 $_R{i}^{c}$ 为 U-Ri即是Ri的补集。假设P、Q都是论域U的子集而且P < Q 那么有0<E(R) <l-l/|U|在信息离散时取得最大值，在数据连续时仅仅取得最小值。

说明知识的信息熵随着区域划分的精细而变大。

信息粒分布的越小，表明在整个系统中数据越混乱所以信息熵也会越大

粗糙熵

粗糙集的粗糙度随着知识粒度的减小而单调递减,这符合人们的认知直觉.但是,很多实际例子表明,当属于一个集合的正域或负域中的知识颗粒被细分时,粗糙集的粗糙度将不发生变化;而且当属于集合边界域中的知识颗粒被细分时,它的粗糙度可能也不发生变化,这与人们的认知直觉不吻合.为了克服这个问题人们提出了粗糙熵