信息安全—密码学信息熵信息理论基础—熵的概念(熵、联合熵、条件熵、平均互信息)

数学基础：概率论乘法法则
两个事件相互独立：P(A∩B) = P(A)×P(B)
· 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率
· · 举个栗子：掷两枚硬币硬币同时立着的概率 = 掷一枚硬币立着的概率 × 再掷一枚
· · 硬币立着的概率。
两个事件非独立：P(A∩B) = P(A)×P(B|A) = P(B)×P(A|B)
· 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 在事件A发生的概率下事
· 件B发生的概率 = 事件B发生的概率 × 在事件B发生的概率下事件A发生的概率。

熵的概念

熵的非形式化概念

随机事件的不确定性，在密码学中将不确定性予以量化，并用熵来表示其不确定性的程度，值越大，不确定性越高，值为0时，为确定性事件。
熵是所包含的未知信息量。（某个事件的未知信息量越大，其不确定性就越大，对应的其熵值就越大）

熵的形式化概念

设事件X有x₁、x₂、x₃、… 、x_n共n中可能的结果，称为“自信息量”，记为I(x_i)
I(xi)=−log⁡2P(xi)（发生的概率P越大信息量I就会越小）I(x_i)=-\log_2P(x_i)（发生的概率 P 越大信息量 I 就会越小） I(xi)=−log2P(xi)（发生的概率P越大信息量I就会越小）
自信息量的数学期望¹就是事件X的熵，记作H(X)H(X)H(X)公式为:
H(X)=∑i=1n[P(xi)×I(xi)]=−∑i=1n[P(xi)×log⁡2P(xi)]H(X) = \sum_{i=1}^n[P(x_i)×I(x_i)]= -\sum_{i=1}^n[P(x_i)×\log_2P(x_i)] H(X)=i=1∑n[P(xi)×I(xi)]=−i=1∑n[P(xi)×log2P(xi)]
如果结果x₁ ··· x_n的发生概率相等，则I(xi)I(x_i)I(xi)的数学期望¹也就是H(X)的关系为
H(X)=I(xi)H(X) = I(x_i)H(X)=I(xi)
因此熵就是各个事件信息量的平均值。

熵联合熵条件熵

熵：0≤H(X)=−∑i=1n[P(xi)log⁡2P(xi)]≤log⁡2n0\leq H(X)=-\sum_{i=1}^n[P(x_i)\log_2P(x_i)]\leq \log_2n0≤H(X)=−∑i=1n[P(xi)log2P(xi)]≤log2n

联合熵：
假设X和Y是 相互独立 的两个事件，X和Y同时出现的事件x_iy_j有 i×j 种结果，则XY同时出现的熵值为：
H(X,Y)=−∑i=1n∑j=1mP(xi,yj)log⁡2P(xi,yi)H(X,Y)=-\sum_{i=1}^n \sum_{j=1}^mP(x_i,y_j)\log_2P(x_i,y_i)H(X,Y)=−i=1∑nj=1∑mP(xi,yj)log2P(xi,yi)

条件熵：
事件Y发生的条件下，事件X的熵值
H(X∣Y)−∑i=1n∑j=1mP(xi,yj)log⁡2P(xi∣yi)H(X|Y)-\sum_{i=1}^n \sum_{j=1}^mP(x_i,y_j)\log_2P(x_i|y_i)H(X∣Y)−i=1∑nj=1∑mP(xi,yj)log2P(xi∣yi)

p(xi,yj)p(x_i,y_j)p(xi,yj)表示 x_i,y_j 结果同时发生的概率
p(xi∣yj)p(x_i | y_j)p(xi∣yj)表示 x_i 在 y_j 发生的情况下发生的概率

假设X和Y是 不独立 的两个事件，X和Y同时出现的事件x_iy_j也会有 i×j 种结果，则XY同时出现的熵值为，
定理：H(X,Y)=H(X)+H(Y∣X)H(X,Y)=H(X)+H(Y|X)H(X,Y)=H(X)+H(Y∣X) (X,Y)不独立
推论：

H(X,Y)≤H(Y)+H(X∣Y)H(X,Y)\leq H(Y)+H(X|Y)H(X,Y)≤H(Y)+H(X∣Y) （当X，Y独立时等号成立）
H(X∣Y)≤H(X)H(X|Y)\leq H(X)H(X∣Y)≤H(X) （当X,Y独立时等号成立）

平均互信息

度量两个事件之间的相关性，用I(X;Y)I(X;Y)I(X;Y)表示

由图可知其有以下几条性质：

I ( X ; Y ) = I ( Y ; X )
I ( X ; Y ) ≥\geq≥ 0 （当X,Y相互独立时为0）
I ( X ; Y ) ≤\leq≤ H(X)或者≤\leq≤ H(Y) （仅当X与Y相同时等号成立）
I(X;Y)=H(X)-H(X|Y)
I(X;Y)=H(Y)-H(Y|X)
I(X;Y)=H(X)+H(Y)-H(Y∪X)

本篇仅说明了，熵的概念，以及熵的一些性质，和平均互信息的性质。之后会介绍熵这个概念应用于密码学的信息理论之中，在信息论中，命名为信息熵。用于抽象出密码学的本质，并以形式化的方式予以描述。

数学期望：实验中每个可能出现的结果的概率乘以其结果的信息量。结果发生的概率越大，其信息量则越小。
· 举个栗子：如果一个事件出现的所有结果都是等概率的，所以每个结果的信息量都相同，所以
· 此事件的数学期望就等于其任意一个结果的信息量。（这里不明白没关系，记住公式就行） ↩︎ ↩︎