UA MATH636 信息论5 信道编码定理的证明

Random Coding Scheme
- 平均错误率
- 最大错误率
逆命题的证明

信道编码定理说的是所有小于 CCC的传输率是可实现的。这里的 CCC就是我们之前定义的
C=max⁡p(X)I(X;Y)C = \max_{p(X)} I(X;Y)C=p(X)maxI(X;Y)
因此这个表述指的是
C=max⁡p(X)I(X;Y)=max⁡{R:Risachievable}C = \max_{p(X)} I(X;Y) = \max\{R:R\ is\ achievable\}C=p(X)maxI(X;Y)=max{R:R is achievable}
这一篇主要就证明一下这个定理和它的逆命题。

先简单描述一下符号和设定：
因为M=2nRM=2^{nR}M=2nR，记codebook为C={Xn(i)}i=12nR\mathcal{C}=\{\mathcal{X}^n(i)\}_{i=1}^{2^{nR}}C={Xn(i)}i=12nR，注意这个codebook是从总体p(X)p(X)p(X)中随机生成的。假设信号是{1,2,⋯,M}\{1,2,\cdots,M\}{1,2,⋯,M}上的均匀分布，假设某一次信源发出的信号为www，则信源编码器传送到噪声信道上的码为Xn(w)\mathcal{X}^n(w)Xn(w)。经过噪声信道传输到接收端的解码器上的码为yny^nyn，
p(yn∣Xn(w))=∏i=1np(yi∣Xn(w))p(y^n|\mathcal{X}^n(w)) = \prod_{i=1}^n p(y^i|\mathcal{X}^n(w))p(yn∣Xn(w))=i=1∏np(yi∣Xn(w))
经过解码后得到信号www的估计量w^\hat{w}w^，它满足Xn(w^)\mathcal{X}^n(\hat{w})Xn(w^)是唯一能与yny^nyn构成joint typical的码。
上面这个系统叫做一个random coding scheme。

Random Coding Scheme

平均错误率

记事件w^≠w\hat{w} \ne ww^=w为E\EpsilonE，则
p(E)=∑∀Cp(C)pe(n)(C)p(\Epsilon)=\sum_{\forall \mathcal{C}} p(\mathcal{C}) p_{e}^{(n)}(\mathcal{C})p(E)=∀C∑p(C)pe(n)(C)
因为平均错误率比最大错误率更好分析，所以先从平均错误率开始。
p(E)=∑∀Cp(C)[12nR∑w=12nRλw(C)]=12nR∑w=12nR[∑∀Cp(C)λw(C)]p(\Epsilon)=\sum_{\forall \mathcal{C}} p(\mathcal{C}) \left[\frac{1}{2^{nR}} \sum_{w=1}^{2^{nR}} \lambda_{w}(\mathcal{C})\right] =\frac{1}{2^{nR}} \sum_{w=1}^{2^{nR}} \left[ \sum_{\forall \mathcal{C}} p(\mathcal{C} )\lambda_w(\mathcal{C})\right] p(E)=∀C∑p(C)⎣⎡2nR1w=1∑2nRλw(C)⎦⎤=2nR1w=1∑2nR[∀C∑p(C)λw(C)]
因为中括号里面的求和式对所有可能的codebook的，所以实际上这个量会与www无关，不失一般性可以将上式写成
p(E)=∑∀Cp(C)λ1(C)=p(ϵ∣w=1)p(\Epsilon)=\sum_{\forall \mathcal{C}} p(\mathcal{C} )\lambda_1(\mathcal{C}) = p(\epsilon|w=1)p(E)=∀C∑p(C)λ1(C)=p(ϵ∣w=1)
当(Xn(i),yn)∉Aϵ(n)(\mathcal{X}^n(i),y^n) \notin A_{\epsilon}^{(n)}(Xn(i),yn)∈/Aϵ(n)时，错误会发生。记事件Ei={(Xn(i),yn)∈Aϵ(n)}E_i = \{(\mathcal{X}^n(i),y^n) \in A_{\epsilon}^{(n)}\}Ei={(Xn(i),yn)∈Aϵ(n)}，则根据Bonferroni不等式
p(E∣w=1)=p(E1C∪E2∪⋯E2nR)≤p(E1C∣w=1)+∑i=22nRp(Ei∣w=1)p(\Epsilon|w=1) = p(E_1^C \cup E_2 \cup \cdots E_{2^{nR}}) \\ \le p(E_1^C|w=1) + \sum_{i=2}^{2^{nR}} p(E_i|w=1)p(E∣w=1)=p(E1C∪E2∪⋯E2nR)≤p(E1C∣w=1)+i=2∑2nRp(Ei∣w=1)
根据Joint AEP的性质1：
p(E1C∣w=1)=p(Xn(i),yn)∉Aϵ(n))≤ϵp(E_1^C|w=1) = p(\mathcal{X}^n(i),y^n) \notin A_{\epsilon}^{(n)}) \le \epsilonp(E1C∣w=1)=p(Xn(i),yn)∈/Aϵ(n))≤ϵ
考虑p(Ei∣w=1)=p(Xn(i),yn)∉Aϵ(n))p(E_i|w=1) = p(\mathcal{X}^n(i),y^n) \notin A_{\epsilon}^{(n)})p(Ei∣w=1)=p(Xn(i),yn)∈/Aϵ(n))
因为yny^nyn是码Xn(1)\mathcal{X}^n(1)Xn(1)经过噪声信道传输到接收端的解码器的，并且Xn(1)\mathcal{X}^n(1)Xn(1)与Xn(i)\mathcal{X}^n(i)Xn(i)是独立的，因此Xn(i),yn\mathcal{X}^n(i),y^nXn(i),yn是独立的，所以根据Joint AEP性质3：
p(Ei∣w=1)≤2−n(I(X;Y)−3ϵ)p(E_i|w=1) \le 2^{-n(I(X;Y)-3\epsilon)}p(Ei∣w=1)≤2−n(I(X;Y)−3ϵ)
带入到错误率中
p(E1C∣w=1)≤ϵ+2nR2−n(I(X;Y)−3ϵ)=ϵ+2−n(I(X;Y)−R−3ϵ)p(E_1^C|w=1) \le \epsilon + 2^{nR} 2^{-n(I(X;Y)-3\epsilon)}=\epsilon + 2^{-n(I(X;Y)-R-3\epsilon)}p(E1C∣w=1)≤ϵ+2nR2−n(I(X;Y)−3ϵ)=ϵ+2−n(I(X;Y)−R−3ϵ)
要让这个上界收敛，需要2−n(I(X;Y)−R−3ϵ)2^{-n(I(X;Y)-R-3\epsilon)}2−n(I(X;Y)−R−3ϵ)被ϵ\epsilonϵ控制，从而
R<I(X;Y)−3ϵR < I(X;Y) - 3\epsilonR<I(X;Y)−3ϵ
这里就可以看出信道容量的形式了，错误率也被控制住了。下面再从平均错误率到最大错误率，看看结论会不会变。

最大错误率

已经证明了p(E)≤2ϵp(\Epsilon) \le 2\epsilonp(E)≤2ϵ，因此
p(E)=∑∀Cp(C)p(E∣C)≤2ϵp(\Epsilon)=\sum_{\forall \mathcal{C}} p(\mathcal{C}) p(E|\mathcal{C}) \le 2\epsilonp(E)=∀C∑p(C)p(E∣C)≤2ϵ
∃C∗\exists \mathcal{C}^*∃C∗，p(E∣C∗)≤2ϵp(\Epsilon|\mathcal{C}^*) \le 2 \epsilonp(E∣C∗)≤2ϵ。其中
p(E∣C∗)=12nR∑i=12nRλi(C∗)p(\Epsilon|\mathcal{C}^*) = \frac{1}{2^{nR}} \sum_{i=1}^{2^{nR}} \lambda_i(\mathcal{C}^*)p(E∣C∗)=2nR1i=1∑2nRλi(C∗)
根据这个表达式我们可以判断，在这2nR2^{nR}2nR个错误率λi(C∗)\lambda_i(\mathcal{C}^*)λi(C∗)中，至少有一半是比4ϵ4\epsilon4ϵ更小的。将更小的这一半作为一个新的codebook，则新的codebook共有2nR−12^{nR-1}2nR−1个code，最大错误率会比4ϵ4\epsilon4ϵ小。注意到此时的传输率为
log⁡22nR−1/n=R−1n→R\log_2 2^{nR-1}/n = R - \frac{1}{n} \to Rlog22nR−1/n=R−n1→R
即传输率不会受到影响，定理结果不变。

逆命题的证明

考虑w→Xn(w)→yn→w^w \to \mathcal{X}^n(w) \to y^n \to \hat{w}w→Xn(w)→yn→w^这个数据过程是一个Markov Chain。根据Fano不等式：
H(E)≤h(p(E))+p(E)log⁡2(M)=h(p(E))+nRp(E)≤1+nRp(E)H(E) \le h(p(E)) + p(E) \log_2 (M) \\ = h(p(E)) + nRp(E) \le 1 +nRp(E) H(E)≤h(p(E))+p(E)log2(M)=h(p(E))+nRp(E)≤1+nRp(E)
因为信号是{1,2,⋯,M}\{1,2,\cdots,M\}{1,2,⋯,M}上的均匀分布，根据数据处理不等式
H(w)=nR=H(w)−H(w∣w^)+H(w∣w^)=I(w;w^)+H(w∣w^)≤I(w;w^)+1+nRp(E)≤I(Xn(w);yn)+1+nRp(E)H(w) = nR = H(w) - H(w|\hat{w}) + H(w|\hat{w}) \\= I(w;\hat{w}) + H(w|\hat{w}) \le I(w;\hat{w}) + 1 + nRp(E) \\ \le I(\mathcal{X}^n(w);y^n) +1 + nRp(E) H(w)=nR=H(w)−H(w∣w^)+H(w∣w^)=I(w;w^)+H(w∣w^)≤I(w;w^)+1+nRp(E)≤I(Xn(w);yn)+1+nRp(E)
其中
I(Xn(w);yn)=H(yn)−H(yn∣Xn(w))=H(yn)−∑i=1nH(yi∣Xn(w),yi−1)I(\mathcal{X}^n(w);y^n) = H(y^n) - H(y^n|\mathcal{X}^n(w)) \\ = H(y^n) - \sum_{i=1}^n H(y^i|\mathcal{X}^n(w),y^{i-1})I(Xn(w);yn)=H(yn)−H(yn∣Xn(w))=H(yn)−i=1∑nH(yi∣Xn(w),yi−1)
根据噪声信道的无记忆性，如果Xn(w)=(x1,⋯,xn)\mathcal{X}^n(w)=(x^1,\cdots,x^n)Xn(w)=(x1,⋯,xn)，
I(Xn(w);yn)=H(yn)−∑i=1nH(yi∣xi)≤∑i=1nH(yi)−∑i=1nH(yi∣xi)=∑i=1nI(xi;yi)≤∑i=1nmax⁡I(X;Y)=nCI(\mathcal{X}^n(w);y^n) = H(y^n) - \sum_{i=1}^n H(y^i|x^i) \\ \le\sum_{i=1}^n H(y^i) - \sum_{i=1}^n H(y^i|x^i) = \sum_{i=1}^n I(x_i;y_i) \\ \le \sum_{i=1}^n \max I(X;Y) = nCI(Xn(w);yn)=H(yn)−i=1∑nH(yi∣xi)≤i=1∑nH(yi)−i=1∑nH(yi∣xi)=i=1∑nI(xi;yi)≤i=1∑nmaxI(X;Y)=nC
因此
nR≤nC+1+nRp(E)⇒R≤C+Rp(E)+1nnR \le nC + 1 + nRp(E) \Rightarrow R \le C + Rp(E) + \frac{1}{n}nR≤nC+1+nRp(E)⇒R≤C+Rp(E)+n1
假设RRR是可实现的，则n→∞n \to \inftyn→∞时，
1n→0,p(E)→0\frac{1}{n} \to 0, p(E) \to 0n1→0,p(E)→0
则R≤CR \le CR≤C

UA MATH636 信息论5 信道编码定理的证明相关推荐

UA MATH636 信息论5 信道编码定理
UA MATH636 信息论5 信道编码定理信道编码问题信道容量的正式定义信道编码定理 Joint Typical Set Joint AEP 上一篇简介里面介绍了通讯的过程,并用下面的流程图来 ...
UA MATH636 信息论9 Reed-Solomon Code
UA MATH636 信息论9 Reed-Solomon Code Reed-Solomon Code的构造一个例子先介绍一类code,maximum distance separable cod ...
UA MATH636 信息论8 线性纠错码
UA MATH636 信息论8 线性纠错码线性码的性质 Decode Linear Code 更细致地定义下记号,记 kkk bits信号为向量 m=[m0,⋯,mk−1]m=[m_0,\cdots ...
UA MATH636 信息论8 纠错码简介
UA MATH636 信息论8 纠错码简介 Hamming Distance Property of Error Correction 这一讲开始介绍纠错码,error correction code ...
UA MATH636 信息论7 高斯信道简介
UA MATH636 信息论7 高斯信道简介微分熵的性质 Gaussian Channel简介微分熵的性质讨论Gauss信道之前,先给出几条微分熵的有用的性质: Gibbs不等式:D(p∣∣q) ...
UA MATH636 信息论6 微分熵
UA MATH636 信息论6 微分熵 Differential Entropy Conditional Differential Entropy Differential Entropy of Ga ...
UA MATH636 信息论5 信道编码简介
UA MATH636 信息论5 信道编码简介通讯的过程可以用下面这个流程图表示.信源发送一个随机信号WWW给信源编码器,编码器将信号WWW编码为XXX后发送到噪声信道进行传输,传输到接收端的解码器, ...
UA MATH636 信息论9 Berlekamp-Welch算法
UA MATH636 信息论9 Berlekamp-Welch算法 Naive RS decoder Berlekamp-Welch算法一个例子上一讲介绍了RS code,这一讲介绍RS code ...
UA MATH636 信息论7 并行高斯信道简介
UA MATH636 信息论7 并行高斯信道简介考虑并行的高斯信道:将一个长信号分为kkk段,走一个并行的高斯信道,被接受后再把信号拼起来.每一个高斯信道的输入为Xi,i=1,⋯,kX_i,i=1, ...

UA MATH636 信息论5 信道编码定理的证明

UA MATH636 信息论5 信道编码定理的证明

Random Coding Scheme

平均错误率

最大错误率

逆命题的证明

UA MATH636 信息论5 信道编码定理的证明相关推荐

最新文章

热门文章