通信原理（三）香农三大定理

文章目录

1、香农第一定理
- 定长编码定理：
2、香农第二定理
- 2.1、香农公式
- - 加性高斯白噪声AGWN
- 2.2、两个准则
3、香农第三定理

香农三大定理是存在性定理，虽未提供具体的编码实现方法，但为通信信息的研究指明了方向。

1、香农第一定理

也称变长编码定理、可变长无失真信源编码定理：
给定熵为H(X)的离散无记忆信源及有D个元素的码符号集,总可以找到一种无失真编码方法构成唯一可译码使其平均码长满足:H(X)logD≤nˉ<1+H(X)logD(此时为最佳码,nˉ>1+H(X)logD时也能找到唯一可译码),推广到L次拓展信源有:H(X)logD≤nL‾L<H(X)logD+1L.\begin{aligned} &给定熵为\mathrm{H}(\mathrm{X})的离散无记忆信源及有\mathrm{D}个元素的码符号集,\\ &总可以找到一种无失真编码方法构成唯一可译码使其平均码长满足:\\ &\frac{H(X)}{logD}\leq\bar{n}<1+\frac{H(X)}{logD}(此时为最佳码,\bar{n}>1+\frac{H(X)}{logD}时也能找到唯一可译码),\\ &推广到\mathrm{L}次拓展信源有:\frac{H(X)}{logD}\leq\frac{\overline{n_{L}}}{L}<\frac{H(X)}{logD}+\frac{1}{L}. \end{aligned}给定熵为H(X)的离散无记忆信源及有D个元素的码符号集,总可以找到一种无失真编码方法构成唯一可译码使其平均码长满足:logDH(X)≤nˉ<1+logDH(X)(此时为最佳码,nˉ>1+logDH(X)时也能找到唯一可译码),推广到L次拓展信源有:logDH(X)≤LnL<logDH(X)+L1.

香农第一定理指导无失真信源编码

定长编码定理：

信源符号集有K个符号,码集含D个符号,码字长度为n,则得到唯一可译码需满足:K≤Dn;考虑对信源进行L次拓展,拓展信源包含KL个消息,故有:KL≤Dn,两边取对数:nL≥logKlogD,即平均每个信源符号至少需要logKlogD个码符号数进行编码;等长编码定理给出更紧致的公式:nL>H(X)+εlogD(ε为无穷小量)。\begin{aligned} &信源符号集有\mathrm{K}个符号,码集含\mathrm{D}个符号,码字长度为\mathrm{n},\\ &则得到唯一可译码需满足:K\leq D^{n};考虑对信源进行\mathrm{L}次拓展,拓展信源包含K^{L}个消息,\\ &故有:K^{L}\leq D^{n},两边取对数:\frac{n}{L}\geq\frac{logK}{logD},\\ &即平均每个信源符号至少需要\frac{logK}{logD}个码符号数进行编码;\\ &等长编码定理给出更紧致的公式:\frac{n}{L}>\frac{H(X)+\varepsilon}{logD}(\varepsilon为无穷小量)。\\ \end{aligned}信源符号集有K个符号,码集含D个符号,码字长度为n,则得到唯一可译码需满足:K≤Dn;考虑对信源进行L次拓展,拓展信源包含KL个消息,故有:KL≤Dn,两边取对数:Ln≥logDlogK,即平均每个信源符号至少需要logDlogK个码符号数进行编码;等长编码定理给出更紧致的公式:Ln>logDH(X)+ε(ε为无穷小量)。
由编码效率知，等长编码实现无差错和高效率需使LLL相当大(信源序列足够长)。

2、香农第二定理

也称有噪信道编码定理：当信道的信息传输率RRR不超过信道容量CCC时，一定存在信道编码方法可以实现任意高的传输可靠性，反之则不可能实现。(信道容量CCC是无差错传输时信息传输率RRR的极限值).

香农第二定理指导信道编码

2.1、香农公式

记B为信道带宽，S/N(或SNR)为信噪比（单位分贝dB），则加性高斯白噪声AGWN信道下的信道容量CCC满足：
C=B∙log⁡2(1+SN)C=B \bullet \log _{2}\left(1+\frac{S}{N}\right)C=B∙log2(1+NS)或：C=B∙log⁡2(1+SNR)或：C=B \bullet \log _{2}\left(1+SNR\right)或：C=B∙log2(1+SNR)

加性高斯白噪声AGWN

香农公式基于AWGN信道，即加性高斯白噪声信道(Additive White Gaussian Noise)：信道的噪声叠加在信号上，且在频谱上均匀分布、幅度上呈正态分布（高斯分布）；通俗地说，AWGN信道意味着不存在干扰。

2.2、两个准则

最大后验概率译码准则:错误概率最小等同于后验概率最大.
即收到yi后在所有x中选择使后验概率q(x|y)(也称信道疑义度)最大的xi作为译码.
极大似然译码准则:收到yi后在所有x中选择使转移概率q(y|x)最大的xi作为译码.

3、香农第三定理

也称保失真度准则下的有失真信源编码定理：

给定允许失真度D,当信息传输率R>R(D)时,只要信源序列足够长,总可以找到一种编码方法使平均失真趋近于允许失真度D.

率失真函数R(D)满足平均失真Dˉ\bar{D}Dˉ小于给定失真度D时,信源信息量可压缩的最低限度。
香农第三定理指导有失真信源编码。