目录

• 序
• 决策法则（decision rules）
• Hamming距离
• 信息论基本定理——Shannon 定理
• Shannon定理的逆命题

---

序

这个算是正本书中关于信息论的最后内容了，后面就是关于编码理论的内容。

这篇文章主要目的还是想引出信息论基本定理的。像决策法则，其实就是某一个信道的逆过程。Hamming距离给出了传输前后在数值意义上的度量。

鉴于Shannon定理——信息论基本定理过于冗长，我单独列了个文章写进去了。详情可以点进去参考

陆艺：信息与编码系列（Appendix1） 信息论基本定理的证明（by Shannon）​zhuanlan.zhihu.com

---

决策法则（decision rules）

看似是个新的概念，但是联系之前所讲到的信道（information channel）的含义，从映射的角度来说，它就是信道的逆。

给出信道

决策法则，记为函数

这里说一点，其实这个函数并不一定是正确的，它表示的是这类函数的一个特例。这个过程叫做对输出的解码（decoding the output）。

对于这样的函数，一共有多少种呢，考虑对于特定的

依旧是考虑BSC，如果是接收方信赖发送方，那么就有决策法则

我们假定，知

前馈概率。

那么对于输入源的推测准确率呢，就是加权求和一下，我们记作

即某些联合概率的和。

然后错误率呢，就是按

于是我们希找一个正确率高，相应地失误率低的决策法则，这样的法则就被称为理想观测法则（ideal observer rule）。

根据前面的推导，我们要想找到正确率高的，也就是要找联合分布概率最高的，让最高的

其中

考虑BSC

然后有决策法则

就是取每列最大的一项。

我们到这里可以总结出一点，就是

如果，碰到了接收方对发送方不是那么的了解，那么对发送方的预测就依赖于信道的特性。假设输入方的每个信号概率都是相等的，只考虑信道矩阵，即只需考虑

最大似然法则（maximum likelihood rule）。

该法则对于特定的输入源所得到的正确率可能不是那么高，但是，他是对于下面这个积分满足最大值

其中

于是原积分为

对于这两种法则，读者可以自行讨论BEC的情形。

那么，对于上述的法则有木有改进的措施呢？显然有。

依旧考虑BSC，令

根据最大似然法则，有

然后，通过对源码进行编码，

让源用连续三次的发送作为一个源符。输出

这几个符号，对应的输入输出矩阵为

于是，我们有最大似然法则

于是，对于编码

这个有时候我们叫做大数判决译码（majority decoding）：通过计算收到

将上面的过程看成一体，于是原先的信道就变成新的BSC了，其信道矩阵为

这一过程，

比原先的误码率小很多了！！！

缺点显然也暴露出来了：原先一次传一个单位，这下三次传一个单位——比原先满了

上面只是进行了

二元重复码（binary repetition code）。如果，我们取

最大似然法则就是大数判决译码（因为如果为偶数，则会出现频率相同的时候）。而且能发现，随着

。但是传输效率

为何说最大似然就是大数判决译码呢，当进行

看见阶乘的估计，我就想到了Striling公式，用该公式进行等价替换，但是，这样放缩发现

所以需要换个方法来估计，不妨考虑

于是，对于系数为

从而误码率逼近于

然后对于上面的方法，考虑进一步拓展，考虑输入源

因此

---

Hamming距离

看见距离，第一印象就应当想到存在映射

1. 正定性：
2. 对称性：
3. 三角形不等性：

（以上定义我把量词给省略了。。。。）

要定义Hamming距离，首先要定义

即不同坐标的个数。

譬如说，

容易证明，Hamming距离的定义符合距离。引入距离，那么所有源符的空间就是距离空间。有了距离，便好进行度量、分类。

为了通过

为了简便描述，后面就都用BSC信道来描述了（

现在，我们记

能看出，对于特定的

最近邻解码（nearest neighbour decoding）。如果出现多种解码选项，则任选其一即可。

---

信息论基本定理——Shannon 定理

该定理是信息论的基本定理，是Shannon于1948年在其硕士论文中得证。该定理通俗来讲，就是对发送端进行编码，随着码字长越来越大，那么发送准确率会达到我们的期望值，且传输效率会逼近与信道的通信容量。准确率很好理解，就是误码率降低了，那么通信容量怎么理解呢？之前讲到过，通信容量就是交互信息量的最大值。而交互信息量，就是发送和接受方可以产生“共鸣”的部分。也就是说，将码长不断加长，一方面传达准确率会增加，另一方面想要表达的内涵也会更加全面。

就好比说，对一件事情描述的语言足够合理地冗长，那么它在传播的过程中，误传率就会很低，其精神就会很大地保留。

信息论基本定理 令

为BSC，

，因此信道容量

。此外任取足够小

，对于充分大的

有编码

，效率为

，其满足

，以至于得到最近邻解码的误码率为

。

换种数学分析中的语言就是

（这要注意一点，

在一般形式下的基本定理，没有指定信道

我这里证明打算分两段来讲，第一个是思路，第二个是详细证明。

思路：首先来看的是误码率。对于误码率，要考虑发送码和接受码的距离，并且通过弱大数定律，可以推出总体上这两方面的关系——发送接收的Hamming距离就是字长乘上误码率。对于误码率估计的时候，将它看作两部分：一部分是接受码于发送码直接的误差超过既定范围，第二部分就是说存在Hamming距离更小的译码（由最近邻得到的）。接着在估计的时候，Shannon很睿智地按可能出现的源进行等概率分布的情形的讨论，并且用平均的方法进行估计。对于误差的第一部分，通过弱大数定律直接高阶无穷小；第二部分在平均后，直接考虑误差不可忽略部分的平均——几何上就是以某个码为圆心，误差距离为半径的闭球，计算这球的测度与整个空间测度的比值，取平均。最后借助一点二项式定理上的不等式得到证明。而剩余部分，就是比较简单的细节推到了，下面给出来详细证明。

证明：详情参考该文章

陆艺：信息与编码系列（Appendix1） 信息论基本定理的证明（by Shannon）​zhuanlan.zhihu.com

---

Shannon定理的逆命题

Shannon 定理指出通过某个信道

不可能取到的。我们接下来要证明的，不光是在BSC中，对应于任意的信道也是如此。首先，我们需要关于误差的最小上界，也就是说Fano界（Fanoe bound）。

定理 令

为信道，输入输出源为

，

。那么误码率

对于任意的决策法则有如下的关系

我们门面说过，熵是反应系统中不确定性的指标。对于知后推前的情形，有

证明：

考虑到定义式

当考虑到因决策法则的影响，可以将

再来看RHS，

以及

从而

于是容易得到

由

为什么对

对于Shannon定理的逆，就是说

定理 如果有

，则并不是对于

，有一码序列

，其长度

，其速率会在

，以致于

。

我们可以考虑反证，假设真有这样的

如果有一个不存在，那么“任意性”便可攻破~），从而

我们对

其中

我们有如下方式来考虑

这个字符表是个广义概念，我们只需要考虑信道作用的部分）。于是

对于LHS结合刚刚的Fano边界，即有

容量和上界有这样的关系

因此有

（最后一个不等式是用

然后我们考虑这个不等式

最后，Shannon定理这里需要提及一下，当我们为了追求高传输率、高准确率的时候，随之而来的就是高延迟和开销。因为随着