香农三大定理、香农公式

文章目录

香农第一定理(无失真变长信源编码定理)
香农第二定理(有噪信道编码定理)
香农第三定理(保真度准则下的信源编码定理)

通信中， 信源编码本质上是将信源符号转变为适合信道传输的符号，目的为了减少或消除信源 冗余度而提高传输效率及通信的 有效性。

在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信道处理方法，能够做到既可靠又有效地传输信息。而香农第一定理就是一个极为重要的极限定理：

香农第一定理(无失真变长信源编码定理)

要做到无失真的信源编码，平均每个信源符号所需最少的rrr元码元数为信源的熵Hr(S)H_r(S)Hr(S).
即信源的信息熵Hr(S)H_r(S)Hr(S)是无失真信源压缩的极限值。

若编码的平均码长小于信源的熵值Hr(S)H_r(S)Hr(S)，则惟一可译码不存在，在译码或反变换时必然要带来失真或差错。

通过对扩展信源进行变长编码，当 N→∞N \to\inftyN→∞ 时，平均码长lim⁡N→∞L‾NN=Hr(S)\lim \limits_{N \to\infty} \frac{\overline L_N }{N}= H_r(S)N→∞limNLN=Hr(S)

物理意义：
无失真信源编码的实质是对离散信源进行变换——变换后信源符号(信道的输入信源)尽可能为等概率分布—— 新信源符号平均所含的信息量达到最大——使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。

香农第二定理(有噪信道编码定理)

当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量(R>CR>CR>C)，就不可能实现可靠的传输。

设某信道有r个输入符号，sss个输出符号，信道容量为CCC，当信道的信息传输率 R<CR<CR<C，码长NNN足够长时，总可以在输入的集合中，找到MMM个码字，分别代表MMM个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率达到任意小(PE→0P_E\to0PE→0)。

具有划时代意义的香农公式：

C=B⋅log2(1+SN)\bm{C=B·log_2(1+\frac{S}{N})}C=B⋅log2(1+NS)

B为信道带宽；SN\frac{S}{N}NS为信噪比，单位分贝（dB）。

香农第三定理(保真度准则下的信源编码定理)

保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率R′R'R′略大于率失真函数R(D)R(D)R(D)，而码的平均失真度d(C)d(C)d(C)不大于给定的允许失真度DDD，即R′≥R(D),d(C)≤DR' \geq R(D),d(C) \leq DR′≥R(D),d(C)≤D.

香农作为信息论的创始人，对如今的信息时代(4G、5G移动通信)贡献巨大。