由条件熵与无条件熵的关系引出的不等式证明题（不会抄答案系列）

枯燥预警，证明很繁琐，实际上尽力记住公式内涵即可，重点掌握詹森不等式。
选自《信息论（第四版）——基础理论与应用》傅祖芸编著P68,2.15,2.16P68,2.15,2.16P68,2.15,2.16，解答抄答案

写在前面：条件熵与无条件熵的关系为
H(X2/X1)⩽H(X2)H(X_2/X_1)\leqslant H(X_2) H(X2/X1)⩽H(X2)
证明：
在区域[0,1][0,1][0,1]中，设f(x)=−xlogxf(x)=-xlogxf(x)=−xlogx，它是区域内的 ⋂\bigcap⋂ 型凸函数。并设xi=P(aj/ai)=pijx_i=P(a_j/a_i)=p_{ij}xi=P(aj/ai)=pij，而P(ai)=piP(a_i)=p_iP(ai)=pi，有
∑i=1qpi=1\sum_{i=1}^qp_i=1i=1∑qpi=1
所以根据詹森不等式
∑i=1qpif(xi)⩽f(∑i=1qpixi)\sum_{i=1}^qp_if(x_i)\leqslant f(\sum_{i=1}^qp_ix_i) i=1∑qpif(xi)⩽f(i=1∑qpixi)
得
−∑i=1qpipijlogpij⩽−∑i=1qpipijlog(∑i=1qpipij)=−pjlogpj(1)-\sum_{i=1}^qp_ip_{ij}logp_{ij}\leqslant-\sum_{i=1}^qp_ip_{ij}log(\sum_{i=1}^qp_ip_{ij})=-p_jlogp_j\tag{1} −i=1∑qpipijlogpij⩽−i=1∑qpipijlog(i=1∑qpipij)=−pjlogpj(1)

∑i=1qpipij=∑i=1qP(ai)P(aj/ai)=∑i=1qP(aiaj)=P(aj)=pj\sum_{i=1}^q p_ip_{ij} = \sum_{i=1}^qP(a_i)P(a_j/a_i)=\sum_{i=1}^qP(a_ia_j)=P(a_j)=p_j i=1∑qpipij=i=1∑qP(ai)P(aj/ai)=i=1∑qP(aiaj)=P(aj)=pj

然后将式子(1)(1)(1)两边对所有 jjj 求和，得
−∑i=1q∑j=1qpipijlogpij⩽−∑j=1qpjlogpj-\sum_{i=1}^q\sum_{j=1}^qp_ip_{ij}logp_{ij}\leqslant-\sum_{j=1}^qp_jlogp_j −i=1∑qj=1∑qpipijlogpij⩽−j=1∑qpjlogpj
即

H(X2/X1)⩽H(X2)H(X_2/X_1)\leqslant H(X_2)H(X2/X1)⩽H(X2)
只有当 P(aj/ai)=P(aj)P(a_j/a_i)=P(a_j)P(aj/ai)=P(aj)，即前后两个符号出现统计独立时等式成立。

试证明离散平稳信源有H(X3/X1X2)⩽H(X2/X1)H(X_3/X_1X_2)\leqslant H(X_2/X_1)H(X3/X1X2)⩽H(X2/X1)，并说明等式成立条件。
证明：

假设
离散平稳信源输出的随机序列符号为⋯X1,X2,X3,⋯\cdots X_1,X_2,X_3,\cdots⋯X1,X2,X3,⋯。又设x1∈X1,x2∈X2,x3∈X3x_1\in X_1,x_2\in X_2,x_3\in X_3x1∈X1,x2∈X2,x3∈X3，而且x1,x2,x3x_1,x_2,x_3x1,x2,x3都取自于同一符号集A={a1,a2,⋯,a3}A= \{a_1,a_2,\cdots ,a_3\}A={a1,a2,⋯,a3}，并满足有
∑X2P(x2/x1)=1,∑X3P(x3/x2)=1,∑X3P(x3/x1x2)=1∑X1P(x1)=∑X2P(x2)=∑X3P(x3)=1\sum_{X_2}P(x_2/x_1)=1,\sum_{X_3}P(x_3/x_2)=1,\sum_{X_3}P(x_3/x_1x_2)=1\\ \sum_{X_1}P(x_1)=\sum_{X_2}P(x_2)=\sum_{X_3}P(x_3)=1 X2∑P(x2/x1)=1,X3∑P(x3/x2)=1,X3∑P(x3/x1x2)=1X1∑P(x1)=X2∑P(x2)=X3∑P(x3)=1
得到
∑X1X2P(x1x2)=∑X2X3P(x2x3)=∑X1X3P(x1x3)=1∑X1X2X3P(x1x2x3)=1∑X1P(x1x2x3)=P(x2x3)∑X2P(x1x2x3)=P(x1x3)∑X3P(x1x2x3)=P(x1x2)\sum_{X_1X_2}P(x_1x_2)=\sum_{X_2X_3}P(x_2x_3)=\sum_{X_1X_3}P(x_1x_3)=1\\ \sum_{X_1X_2X_3}P(x_1x_2x_3)=1\\ \sum_{X_1}P(x_1x_2x_3)=P(x_2x_3)\\ \sum_{X_2}P(x_1x_2x_3)=P(x_1x_3)\\ \sum_{X_3}P(x_1x_2x_3)=P(x_1x_2)\\ X1X2∑P(x1x2)=X2X3∑P(x2x3)=X1X3∑P(x1x3)=1X1X2X3∑P(x1x2x3)=1X1∑P(x1x2x3)=P(x2x3)X2∑P(x1x2x3)=P(x1x3)X3∑P(x1x2x3)=P(x1x2)

方法一
在区域[0,1][0,1][0,1]内设f(x)=−xlogx,f(x)f(x)=-xlogx,f(x)f(x)=−xlogx,f(x)在[0,1][0,1][0,1]内是⋂\bigcap⋂型凸函数，所以满足詹森不等式
∑i=1qPif(xi)⩽f(∑i=1qPixi)其中∑i=1qPi=1现今xi=P(x3/x1x2)，设其概率空间为P(x1/x2)，并满足∑X1P(x1/x2)=1\sum_{i=1}^qP_if(x_i)\leqslant f(\sum_{i=1}^qP_ix_i)\quad其中\sum_{i=1}^qP_i=1\\ 现今x_i=P(x_3/x_1x_2)，设其概率空间为P(x_1/x_2)，并满足\\ \sum_{X_1}P(x_1/x_2)=1 i=1∑qPif(xi)⩽f(i=1∑qPixi)其中i=1∑qPi=1现今xi=P(x3/x1x2)，设其概率空间为P(x1/x2)，并满足X1∑P(x1/x2)=1
所以根据詹森不等式得
∑X1P(x1/x2)[−xilogxi]⩽−[∑X1P(x1/x2)xi]log[∑X1P(x1/x2)xi]\sum_{X_1}P(x_1/x_2)[-x_ilogx_i]\leqslant-\left[ \sum_{X_1}P(x_1/x_2)x_i\right]log\left[ \sum_{X_1}P(x_1/x_2)x_i\right]X1∑P(x1/x2)[−xilogxi]⩽−[X1∑P(x1/x2)xi]log[X1∑P(x1/x2)xi]

xi=P(x3/x1x2)x_i=P(x_3/x_1x_2)xi=P(x3/x1x2)

−∑X1P(x1/x2)P(x3/x1x2)logP(x3/x1x2)⩽−∑X1P(x1/x2)P(x3/x1x2)log∑X1P(x1/x2)P(x3/x1x2)-\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2)logP(x_3/x_1x_2)\\ \leqslant -\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2)log\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2)\\ −X1∑P(x1/x2)P(x3/x1x2)logP(x3/x1x2)⩽−X1∑P(x1/x2)P(x3/x1x2)logX1∑P(x1/x2)P(x3/x1x2)

这里的所以非常的莫名奇妙，不等号直接跨到等号，我觉得可以直接得出

所以∑X1P(x1x2x3)=P(x2x3)∑X1P(x1x3/x2)P(x2)=P(x3/x2)P(x2)\sum_{X_1}P(x_1x_2x_3)=P(x_2x_3)\\ \sum_{X_1}P(x_1x_3/x_2)P(x_2)=P(x_3/x_2)P(x_2) X1∑P(x1x2x3)=P(x2x3)X1∑P(x1x3/x2)P(x2)=P(x3/x2)P(x2)
上式对所有x1,x2,x3x_1,x_2,x_3x1,x2,x3的取值都成立，所以

直观感受这里把P(X2)P(X_2)P(X2)约去了

∑X1P(x1x3/x2)=P(x3/x2)\sum_{X_1}P(x_1x_3/x_2)=P(x_3/x_2)\\ X1∑P(x1x3/x2)=P(x3/x2)

为什么不能直接写
∑X1P(x1x2/x3)=P(x2/x3)\sum_{X_1}P(x_1x_2/x_3)=P(x_2/x_3)\\ X1∑P(x1x2/x3)=P(x2/x3)

即
∑X1P(x1/x2)P(x3/x1x2)=P(x3/x2)\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2)=P(x_3/x_2)X1∑P(x1/x2)P(x3/x1x2)=P(x3/x2)

∑X1P((x1x3)/x2)=∑X1P(((x3/x1)(x1))x2)=∑X1P(x1/x2)P(x3/x1x2)\sum_{X_1}P\Big((x_1x_3)/x_2\Big)=\sum_{X_1}P\bigg(\frac{\Big((x_3/x_1)(x_1)\Big)}{x_2}\bigg)=\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2) X1∑P((x1x3)/x2)=X1∑P(x2((x3/x1)(x1)))=X1∑P(x1/x2)P(x3/x1x2)

所以−∑X1P(x1x3/x2)logP(x3/x1x2)⩽−P(x3/x2)logP(x3/x2)-\sum_{X_1}P(x_1x_3/x_2)logP(x_3/x_1x_2)\leqslant -P(x_3/x_2)logP(x_3/x_2)−X1∑P(x1x3/x2)logP(x3/x1x2)⩽−P(x3/x2)logP(x3/x2)

−∑X1P(x1/x2)P(x3/x1x2)logP(x3/x1x2)⩽−∑X1P(x1/x2)P(x3/x1x2)log∑X1P(x1/x2)P(x3/x1x2)-\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2)logP(x_3/x_1x_2)\\ \leqslant -\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2)log\sum_{X_1}P(x_1/x_2)P(x_3/x_1x_2)\\ −X1∑P(x1/x2)P(x3/x1x2)logP(x3/x1x2)⩽−X1∑P(x1/x2)P(x3/x1x2)logX1∑P(x1/x2)P(x3/x1x2)

因为0⩽P(x2)⩽10\leqslant P(x_2) \leqslant10⩽P(x2)⩽1，x2∈X2x_2\in X_2x2∈X2，所以上式两边相乘，等号不变，有
−∑X1P(x2)P(x1x3/x2)logP(x3/x1x2)⩽−P(x2)P(x3/x2)logP(x3/x2)-\sum_{X_1}P(x_2)P(x_1x_3/x_2)logP(x_3/x_1x_2)\leqslant -P(x_2)P(x_3/x_2)logP(x_3/x_2) −X1∑P(x2)P(x1x3/x2)logP(x3/x1x2)⩽−P(x2)P(x3/x2)logP(x3/x2)
上式对所有x2x_2x2、x3x_3x3都成立，所以对所有x2x_2x2，x3x_3x3求和下式也成立
−∑X1∑X2∑X3P(x1x2x3)logP(x3/x1x2)⩽−∑X2∑X3P(x2x3)logP(x3/x2)-\sum_{X_1}\sum_{X_2}\sum_{X_3}P(x_1x_2x_3)logP(x_3/x_1x_2)\leqslant-\sum_{X_2}\sum_{X_3}P(x_2x_3)logP(x_3/x_2) −X1∑X2∑X3∑P(x1x2x3)logP(x3/x1x2)⩽−X2∑X3∑P(x2x3)logP(x3/x2)
因为 H(X3/X1X2)⩽H(X3/X2)\quad H(X_3/X_1X_2)\leqslant H(X_3/X_2)H(X3/X1X2)⩽H(X3/X2)
所以是平稳信源 H(X3/X2)=H(X2/X1)\quad H(X_3/X_2)=H(X_2/X_1)H(X3/X2)=H(X2/X1)
所以H(X3/X1X2)⩽H(X2/X1)\quad H(X_3/X_1X_2) \leqslant H(X_2/X_1)H(X3/X1X2)⩽H(X2/X1)
只有当 P(x3/x1x2)=p(x3/x2)P(x_3/x_1x_2)=p(x_3/x_2)P(x3/x1x2)=p(x3/x2)（对所有x1,x2,x3x_1,x_2,x_3x1,x2,x3）时等式成立。

方法二更变态，但好像更通用，太长写不下，放个链接

试证明离散平稳信源有H(X1X2⋯XN)⩽H(X1)+H(X2)+⋯+H(XN)H(X_1X_2\cdots X_N)\leqslant H(X_1)+H(X_2)+\cdots+H(X_N)H(X1X2⋯XN)⩽H(X1)+H(X2)+⋯+H(XN)，并说明等式成立条件。
解：
设离散平稳信源输出的随机符号序列为⋯X1X2⋯XN−1XNXN+1⋯\cdots X_1X_2\cdots X_{N-1}X_NX_{N+1}\cdots⋯X1X2⋯XN−1XNXN+1⋯，又设x1∈X1,x2∈X2,⋯,xN−1∈XN−1,xN∈XNx_1 \in X_1,x_2\in X_2,\cdots,x_{N-1}\in X_{N-1},x_N\in X_Nx1∈X1,x2∈X2,⋯,xN−1∈XN−1,xN∈XN，而且x1,x2,⋯xN−1,xNx_1,x_2,\cdots x_{N-1},x_Nx1,x2,⋯xN−1,xN都取自于同一个符号集A:∣a1,a2,⋯,aq∣A:|a_1,a_2,\cdots,a_q|A:∣a1,a2,⋯,aq∣，并满足有
∑Xi∑Xi+1P(xixi+1)=1i=1,2,⋯,N∑Xi∑Xi+1∑Xi+2P(xixi+1xi+2)=1i=1,2,⋯,N⋮∑X1∑X2⋯∑XNP(x1x2⋯xN−1xN)=1\sum_{X_i}\sum_{X_{i+1}}P(x_ix_{i+1})=1\quad i=1,2,\cdots,N\\ \sum_{X_i}\sum_{X_{i+1}}\sum_{X_{i+2}}P(x_ix_{i+1}x_{i+2})=1\quad i=1,2,\cdots,N\\ \vdots \\ \sum_{X_1}\sum_{X_2}\cdots\sum_{X_N}P(x_1x_2\cdots x_{N-1}x_N)=1\quad \\ Xi∑Xi+1∑P(xixi+1)=1i=1,2,⋯,NXi∑Xi+1∑Xi+2∑P(xixi+1xi+2)=1i=1,2,⋯,N⋮X1∑X2∑⋯XN∑P(x1x2⋯xN−1xN)=1

这其实是两个系列的式子

∑XiP(xixi+1)=P(xi+1)i=1,2,⋯,N∑Xi∑Xi+1P(xixi+1xi+2)=P(xi+2)i=1,2,⋯,N⋮∑X1∑X2⋯∑XN−1P(x1x2⋯xN−1xN)=P(xN)\sum_{X_i}P(x_ix_{i+1})=P(x_{i+1})\quad i=1,2,\cdots,N\\ \sum_{X_i}\sum_{X_{i+1}}P(x_ix_{i+1}x_{i+2})=P(x_{i+2})\quad i=1,2,\cdots,N\\ \vdots\\ \sum_{X_1}\sum_{X_2}\cdots\sum_{X_{N-1}}P(x_1x_2\cdots x_{N-1}x_N)=P(x_N)\\ Xi∑P(xixi+1)=P(xi+1)i=1,2,⋯,NXi∑Xi+1∑P(xixi+1xi+2)=P(xi+2)i=1,2,⋯,N⋮X1∑X2∑⋯XN−1∑P(x1x2⋯xN−1xN)=P(xN)
根据离平稳信源的信息熵的表达式有
H(X1X2⋯XN−1XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2⋯XN−1)H(X_1X_2\cdots X_{N-1}X_N)=H(X_1)+H(X_2/X_1)+\\ H(X_3/X_1X_2)+H(X_N/X_1X_2\cdots X_{N-1}) H(X1X2⋯XN−1XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2⋯XN−1)
根据上题(2)(2)(2)式，现设

？？？喵喵喵，还带这样玩？
−∑i=1qPilogPi⩽−∑i=1qPilogPi′(2)-\sum_{i=1}^qP_ilogP_i\leqslant -\sum_{i=1}^qP_ilog{P_i}^{'}\tag{2} −i=1∑qPilogPi⩽−i=1∑qPilogPi′(2)

Pi=P(x2/x1)其满足0⩽Pi⩽1,∑X2P(x2/x1)=1Pi′=P(x2)也满足0⩽Pi′⩽1,∑X2P(x2)=1P_i=P(x_2/x_1)\quad其满足\quad0\leqslant P_i\leqslant 1,\sum_{X_2}P(x_2/x_1)=1\\ {P_i}^{'}=P(x_2)\quad也满足\quad0\leqslant P_i^{'}\leqslant 1,\sum_{X_2}P(x_2)=1\\ Pi=P(x2/x1)其满足0⩽Pi⩽1,X2∑P(x2/x1)=1Pi′=P(x2)也满足0⩽Pi′⩽1,X2∑P(x2)=1
则有
−∑X2P(x2/x1)logP(x2/x1)⩽−∑X2P(x2/x1)logP(x2)(2)-\sum_{X_2}P(x_2/x_1)logP(x_2/x_1)\leqslant -\sum_{X_2}P(x_2/x_1)logP(x_2)\tag{2} −X2∑P(x2/x1)logP(x2/x1)⩽−X2∑P(x2/x1)logP(x2)(2)
因为P(x1)>0P(x_1)>0P(x1)>0，所以上式两边相乘，等号不变。
−∑X2P(x1)P(x2/x1)logP(x2/x1)⩽−∑X2P(x1)P(x2/x1)logP(x2)-\sum_{X_2}P(x_1)P(x_2/x_1)logP(x_2/x_1)\leqslant -\sum_{X_2}P(x_1)P(x_2/x_1)logP(x_2) −X2∑P(x1)P(x2/x1)logP(x2/x1)⩽−X2∑P(x1)P(x2/x1)logP(x2)

P(x1)P(x2/x1)=P(x2x1)P(x_1)P(x_2/x_1)=P(x_2x_1)P(x1)P(x2/x1)=P(x2x1)

上式对所有 x1x_1x1 的取值成立，所以对所有 x1x_1x1 求和，下式成立
−∑X1∑X2P(x2x1)logP(x2/x1)⩽−∑X1∑X2P(x1x2)logP(x2)⩽−∑X2P(x2)logP(x2)=H(X2)\begin{aligned} -\sum_{X_1}\sum_{X_2}P(x_2x_1)logP(x_2/x_1)\leqslant& -\sum_{X_1}\sum_{X_2}P(x_1x_2)logP(x_2)\\ \leqslant&-\sum_{X_2}P(x_2)logP(x_2)\\ =&H(X_2) \end{aligned} −X1∑X2∑P(x2x1)logP(x2/x1)⩽⩽=−X1∑X2∑P(x1x2)logP(x2)−X2∑P(x2)logP(x2)H(X2)
证得H(X2/X1)⩽H(X2)\quad\quad H(X_2/X_1)\leqslant H(X_2)H(X2/X1)⩽H(X2)
只有当 P(x2/x1)=P(x2)P(x_2/x_1)=P(x_2)P(x2/x1)=P(x2)，（对所有x1,x2x_1,x_2x1,x2）时等式成立。
同理，设P(xi)=P(x3/x1x2)\quad P(x_i)=P(x_3/x_1x_2)\quadP(xi)=P(x3/x1x2)其满足 0⩽Pi⩽1,∑X3P(x3/x1x2)=1\quad0\leqslant P_i\leqslant 1,\displaystyle\sum_{X_3}P(x_3/x_1x_2)=10⩽Pi⩽1,X3∑P(x3/x1x2)=1
Pi′=P(x3)也满足0⩽Pi′⩽1,∑X3P(x3)=1{P_i}^{'}=P(x_3)\quad也满足\quad0\leqslant P_i^{'}\leqslant 1,\sum_{X_3}P(x_3)=1Pi′=P(x3)也满足0⩽Pi′⩽1,X3∑P(x3)=1

继续补充(2)(2)(2)式
−∑i=1qPilogPi⩽−∑i=1qPilogPi′(2)-\sum_{i=1}^qP_ilogP_i\leqslant -\sum_{i=1}^qP_ilog{P_i}^{'}\tag{2} −i=1∑qPilogPi⩽−i=1∑qPilogPi′(2)

则有−∑X3P(x3/x1x2)logP(x3/x1x2)⩽∑X3P(x3/x1x2)logP(x3)\quad-\displaystyle\sum_{X_3}P(x_3/x_1x_2)logP(x_3/x_1x_2) \leqslant\sum_{X_3}P(x_3/x_1x_2)logP(x_3)−X3∑P(x3/x1x2)logP(x3/x1x2)⩽X3∑P(x3/x1x2)logP(x3)
因为 P(x1x2)>0P(x_1x_2)>0P(x1x2)>0，所以上式两边相乘，符号不变，得
−∑X3P(x1x2)P(x3/x1x2)logP(x3/x1x2)⩽−∑X3P(x1x2)P(x3/x1x2)logP(x3)\quad-\displaystyle\sum_{X_3}P(x_1x_2)P(x_3/x_1x_2)logP(x_3/x_1x_2)\\ \leqslant-\sum_{X_3}P(x_1x_2)P(x_3/x_1x_2)logP(x_3) −X3∑P(x1x2)P(x3/x1x2)logP(x3/x1x2)⩽−X3∑P(x1x2)P(x3/x1x2)logP(x3)
上式对所有 x1,x2x_1,x_2x1,x2 的取值都成立，所以有
−∑X1∑X2∑X3P(x1x2x3)logP(x3/x1x2)⩽−∑X1∑X2∑X3P(x1x2x3)logP(x3)=−∑X3P(x3)logP(x3)\begin{aligned} &-\sum_{X_1}\sum_{X_2}\sum_{X_3}P(x_1x_2x_3)logP(x_3/x_1x_2)\\ &\leqslant-\sum_{X_1}\sum_{X_2}\sum_{X_3}P(x_1x_2x_3)logP(x_3)\\ &=-\sum_{X_3}P(x_3)logP(x_3)\\ \end{aligned}\\ −X1∑X2∑X3∑P(x1x2x3)logP(x3/x1x2)⩽−X1∑X2∑X3∑P(x1x2x3)logP(x3)=−X3∑P(x3)logP(x3)
⇒H(X3/X1X2)⩽H(X3)\Rightarrow H(X_3/X_1X_2)\leqslant H(X_3) ⇒H(X3/X1X2)⩽H(X3)
只有当 P(x3/x1x2)=P(x3)P(x_3/x_1x_2)=P(x_3)P(x3/x1x2)=P(x3) （对所有x1,x2,x3x_1,x_2,x_3x1,x2,x3）时等式成立
依此类推，对于所有 H(XN/X1X2⋯XN−1)H(X_N/X_1X_2\cdots X_{N-1})H(XN/X1X2⋯XN−1) 同理可设
Pi=P(xN/x1x2⋯xN−1)P_i=P(x_N/x_1x_2\cdots x_{N-1}) Pi=P(xN/x1x2⋯xN−1)
其满足 0⩽Pi⩽10\leqslant P_i\leqslant10⩽Pi⩽1，则有
∑XNP(xN/x1x2⋯xN−1)=1\sum_{X_N}P(x_N/x_1x_2\cdots x_{N-1})=1 XN∑P(xN/x1x2⋯xN−1)=1
又设Pi′=P(xN)P_i^{'}=P(x_N)Pi′=P(xN)，也满足0⩽Pi′⩽1∑XNP(xN)=10\leqslant P_i^{'}\leqslant1\quad \displaystyle\sum_{X_N}P(x_N)=10⩽Pi′⩽1XN∑P(xN)=1，则有
−∑XNP(xN/x1x2⋯xN−1)logP(xN/x1x2⋯xN−1)⩽−∑XNP(xN/x1x2⋯xN−1)logP(xN)-\sum_{X_N}P(x_N/x_1x_2\cdots x_{N-1})logP(x_N/x_1x_2\cdots x_{N-1})\\ \leqslant-\sum_{X_N}P(x_N/x_1x_2\cdots x_{N-1})logP(x_N) −XN∑P(xN/x1x2⋯xN−1)logP(xN/x1x2⋯xN−1)⩽−XN∑P(xN/x1x2⋯xN−1)logP(xN)

再来一遍(2)(2)(2)式
−∑i=1qPilogPi⩽−∑i=1qPilogPi′(2)-\sum_{i=1}^qP_ilogP_i\leqslant -\sum_{i=1}^qP_ilog{P_i}^{'}\tag{2} −i=1∑qPilogPi⩽−i=1∑qPilogPi′(2)

因为 P(x1x2⋯xN−1)>0P(x_1x_2\cdots x_{N-1})>0P(x1x2⋯xN−1)>0，所以上式两边相乘，符号不变，得
−∑XNP(x1x2⋯xN−1)P(xN/x1x2⋯xN−1)logP(xN/x1x2⋯xN−1)⩽−∑XNP(x1x2⋯xN−1)P(xN/x1x2⋯xN−1)logP(xN)-\sum_{X_N}P(x_1x_2\cdots x_{N-1})P(x_N/x_1x_2\cdots x_{N-1})logP(x_N/x_1x_2\cdots x_{N-1})\\ \leqslant-\sum_{X_N}P(x_1x_2\cdots x_{N-1})P(x_N/x_1x_2\cdots x_{N-1})logP(x_N) −XN∑P(x1x2⋯xN−1)P(xN/x1x2⋯xN−1)logP(xN/x1x2⋯xN−1)⩽−XN∑P(x1x2⋯xN−1)P(xN/x1x2⋯xN−1)logP(xN)
上式对所有 x1,x2,⋯,xN−1x_1,x_2,\cdots,x_{N-1}x1,x2,⋯,xN−1 的取值都成立，所以对 x1,x2,⋯,xN−1x_1,x_2,\cdots,x_{N-1}x1,x2,⋯,xN−1 求和，下式成立
−∑X1∑X2⋯∑XN−1∑XNP(x1x2⋯xN−1xN)logP(xN/x1x2⋯xN−1)⩽−∑X1∑X2⋯∑XN−1∑XNP(x1x2⋯xN−1xN)logP(xN)=−∑XNP(xN)logP(xN)=H(xN)\begin{aligned} &-\sum_{X_1}\sum_{X_2}\cdots\sum_{X_{N-1}}\sum_{X_N}P(x_1x_2\cdots x_{N-1}x_N)logP(x_N/x_1x_2\cdots x_{N-1})\\ &\leqslant-\sum_{X_1}\sum_{X_2}\cdots\sum_{X_{N-1}}\sum_{X_N}P(x_1x_2\cdots x_{N-1}x_N)logP(x_N)\\ &=-\sum_{X_N}P(x_N)logP(x_N)\\ &=H(x_N) \end{aligned} −X1∑X2∑⋯XN−1∑XN∑P(x1x2⋯xN−1xN)logP(xN/x1x2⋯xN−1)⩽−X1∑X2∑⋯XN−1∑XN∑P(x1x2⋯xN−1xN)logP(xN)=−XN∑P(xN)logP(xN)=H(xN)
⇒H(XN/X1X2⋯XN−1)⩽H(XN)\Rightarrow H(X_N/X_1X_2\cdots X_{N-1})\leqslant H(X_N) ⇒H(XN/X1X2⋯XN−1)⩽H(XN)
只有当 P(xN/x1x2⋯xN−1)=P(xN)P(x_N/x_1x_2\cdots x_{N-1})=P(x_N)P(xN/x1x2⋯xN−1)=P(xN) （对所有x1,x2,⋯,xN−1,xNx_1,x_2,\cdots,x_{N-1},x_Nx1,x2,⋯,xN−1,xN）时等式成立。
由此可证得
H(X1X2⋯XN−1XN)=H(X1)+H(X2/X1)+H(X3/X2X1)+⋯+H(XN/X1X2⋯XN−1)⩽H(X1)+H(X2)+H(X3)+⋯+H(XN)\begin{aligned} &H(X_1X_2\cdots X_{N-1}X_N)\\ & = H(X_1)+H(X_2/X_1)+H(X_3/X_2X_1)+\cdots+H(X_N/X_1X_2\cdots X_{N-1})\\ & \leqslant H(X_1)+H(X_2)+H(X_3)+\cdots+H(X_N) \end{aligned} H(X1X2⋯XN−1XN)=H(X1)+H(X2/X1)+H(X3/X2X1)+⋯+H(XN/X1X2⋯XN−1)⩽H(X1)+H(X2)+H(X3)+⋯+H(XN)
只有当下列等式对所有 x1,x2,⋯,xN−1,xNx_1,x_2,\cdots,x_{N-1},x_Nx1,x2,⋯,xN−1,xN
P(x2/x1)=P(x2)P(x3/x1x2)=P(x3)⋮P(xN/x1x2⋯xN−1)=P(xN)}\left. \begin{matrix} P(x_2/x_1)=P(x_2)&\\ P(x_3/x_1x_2)=P(x_3)&\\ \vdots \\ P(x_N/x_1x_2\cdots x_{N-1})=P(x_N)&\\ \end{matrix} \right\} P(x2/x1)=P(x2)P(x3/x1x2)=P(x3)⋮P(xN/x1x2⋯xN−1)=P(xN)⎭⎪⎪⎪⎬⎪⎪⎪⎫
同时成立时，等式成立。
即只有当 P(x1x2⋯xN−1xN)=P(x1)P(x2)⋯P(xN−1)P(xN)P(x_1x_2\cdots x_{N-1}x_N)=P(x_1)P(x_2)\cdots P(x_{N-1})P(x_N)P(x1x2⋯xN−1xN)=P(x1)P(x2)⋯P(xN−1)P(xN) 满足时，等式成立。
这就表明只有当离散信源输出的 NNN 长的随机序列之间彼此统计无依赖时，等式成立。

由条件熵与无条件熵的关系引出的不等式证明题（不会抄答案系列）相关推荐

圆与圆的位置关系题目含答案_中考数学直线与圆的位置关系知识点对应中考真题汇编（含答案）...
中考数学直线与圆的位置关系 [学习目标] 了解直线与圆的三种位置关系:了解切线的概念 ,掌握切线的判断方法和性质:了解三角形的内切圆.三角形的内心.圆的外切三角形的概念,会作已知三角形的内切圆:了解切 ...
高等数学期末总复习 DAY 3.利用导数定义求极限判断连续与可导的关系关于导数定义的证明题基本求导基本高阶求导抽象函数求导
DAY 3. 一路陪我走过来的从来都不是什么善良正直正能量,而是虚荣嫉妒不甘心文章目录 DAY 3. 1. 利用导数定义求极限 2.判断连续与可导的关系 3.关于导数定义的证明题 4.基本复合函数求 ...
【无标题】关系数据模型
2.1关系数据结构及形式化定义关系模型是建立在集合代数的基础上的,因此从集合论角度给出关系数据结构的形式化定义. 1.域(Domain):域是一组具有相同数据类型的值的集合,例如整数.自然数都是域 ...
两平面平行方向向量关系_立体几何平行证明的四大必杀绝技------赞！很赞！！非常赞！！！...
类型一: 根据已有平行关系证平行例题1:已知四棱锥P-ABCD,且G,E,F,H分别是棱PB,AB,CD,PC上共面的四点,且有BC∥平面GEFH,证明GH∥EF. 证明: ∵BC∥平面GEFH, ...
无失真压缩法可以减少冗余_机考样题(选择题带标准答案).docx
山东省高校非计算机专业计算机等级考试样题( Windows 7+Office 2010) 一. 单项选择题(每题1 分,共30 分) 1. 下列有关信息的说法错误的是 ( A). A. 信息有着明确. ...
c语言电报关系的题目,c语言所有题目以跟答案.doc
c语言所有题目以跟答案判断题关系运算符<=与==的优先级相同. N 2.7&3+12的值是15. N 3.在TurboC中,整型数据在内存中占2个字节. Y C语言本身不提供输入输出 ...
离散数学中集合、关系、群的证明方法（英文证明附例题）
文章目录集合子集关系句式两个集合相等句式例子划分(partition) 句式例子关系关系R的自反性(reflexive)反自反(irreflexive) 句式关系R的对称性(sy ...
不属于c语言程序运算符,下面属于C语言关系运算符的是:( ) (A) (B) (C) =! (D) = - 试题答案网问答...
相关题目与解析下面属于C语言关系运算符的是:()(A)>(B)<(C)=!(D)>= 以下选项中不属于C语言程序运算符的是A．sizeofB．()C．<>D．& ...
031 矩阵关系专题之等价、相似、合同（线性代数系列结束）
本线性代数系列视频由汤家凤教授全程讲授,在此致谢汤家风老师的辛勤付出!也预祝各位同学考研成功! 数学功底好的同学的也可以一起来学习大数据!开启大数据人工智能之旅! 031 矩阵关系专题之等价.相似. ...

由条件熵与无条件熵的关系引出的不等式证明题（不会抄答案系列）

试证明离散平稳信源有H(X3/X1X2)⩽H(X2/X1)H(X_3/X_1X_2)\leqslant H(X_2/X_1)H(X3/X1X2)⩽H(X2/X1)，并说明等式成立条件。

方法二更变态，但好像更通用，太长写不下，放个链接

试证明离散平稳信源有H(X1X2⋯XN)⩽H(X1)+H(X2)+⋯+H(XN)H(X_1X_2\cdots X_N)\leqslant H(X_1)+H(X_2)+\cdots+H(X_N)H(X1X2⋯XN)⩽H(X1)+H(X2)+⋯+H(XN)，并说明等式成立条件。

由条件熵与无条件熵的关系引出的不等式证明题（不会抄答案系列）相关推荐

最新文章

热门文章

由条件熵与无条件熵的关系引出的不等式证明题（不会抄答案系列）

试证明离散平稳信源有H(X3/X1X2)⩽H(X2/X1)H(X_3/X_1X_2)\leqslant H(X_2/X_1)H(X3​/X1​X2​)⩽H(X2​/X1​)，并说明等式成立条件。

方法二更变态，但好像更通用，太长写不下，放个链接

试证明离散平稳信源有H(X1X2⋯XN)⩽H(X1)+H(X2)+⋯+H(XN)H(X_1X_2\cdots X_N)\leqslant H(X_1)+H(X_2)+\cdots+H(X_N)H(X1​X2​⋯XN​)⩽H(X1​)+H(X2​)+⋯+H(XN​)，并说明等式成立条件。

由条件熵与无条件熵的关系引出的不等式证明题（不会抄答案系列）相关推荐

最新文章

热门文章

试证明离散平稳信源有H(X3/X1X2)⩽H(X2/X1)H(X_3/X_1X_2)\leqslant H(X_2/X_1)H(X3/X1X2)⩽H(X2/X1)，并说明等式成立条件。

试证明离散平稳信源有H(X1X2⋯XN)⩽H(X1)+H(X2)+⋯+H(XN)H(X_1X_2\cdots X_N)\leqslant H(X_1)+H(X_2)+\cdots+H(X_N)H(X1X2⋯XN)⩽H(X1)+H(X2)+⋯+H(XN)，并说明等式成立条件。