UA MATH636 信息论7 并行高斯信道简介

考虑并行的高斯信道：将一个长信号分为kkk段，走一个并行的高斯信道，被接受后再把信号拼起来。每一个高斯信道的输入为Xi,i=1,⋯,kX_i,i=1,\cdots,kXi,i=1,⋯,k，输出为Yi,i=1⋯,kY_i,i=1\cdots,kYi,i=1⋯,k，高斯白噪声为Zi,i=1,⋯,kZ_i,i=1,\cdots,kZi,i=1,⋯,k（不同信道的噪声互相独立），既然这一讲是简介，就先不考虑滤波器了，假设Yi=Xi+ZiY_i = X_i + Z_iYi=Xi+Zi。

input

Signal 1

Noise 1

Filter 1

Receiver 1

Signal 2

Noise 2

Filter 2

Receiver 2

...

Signal k

Noise k

Filter k

Receiver k

假设每个高斯信道的功率为PiP_iPi，并行高斯信道的功率上限为PPP，则这个并行高斯信道的容量为
C=max⁡∑i=1kPi≤PI(X1,⋯,Xk;Y1,⋯,Yk)C = \max_{\sum_{i=1}^k P_i \le P} I(X_1,\cdots,X_k;Y_1,\cdots,Y_k)C=∑i=1kPi≤PmaxI(X1,⋯,Xk;Y1,⋯,Yk)
计算
I(X1,⋯,Xk;Y1,⋯,Yk)=h(Y1,⋯,Yk)−h(Y1,⋯,Yk∣X1,⋯,Xk)I(X_1,\cdots,X_k;Y_1,\cdots,Y_k) = h(Y_1,\cdots,Y_k)-h(Y_1,\cdots,Y_k|X_1,\cdots,X_k)I(X1,⋯,Xk;Y1,⋯,Yk)=h(Y1,⋯,Yk)−h(Y1,⋯,Yk∣X1,⋯,Xk)
其中
h(Y1,⋯,Yk∣X1,⋯,Xk)=h(X1+Z1,⋯,Xk+Zk∣X1,⋯,Xk)=h(Z1,⋯,Zk∣X1,⋯,Xk)=h(Z1,Z2,⋯,Zk)=∑i=1kZih(Y_1,\cdots,Y_k|X_1,\cdots,X_k) = h(X_1+Z_1,\cdots,X_k+Z_k|X_1,\cdots,X_k) \\ = h(Z_1,\cdots,Z_k|X_1,\cdots,X_k) = h(Z_1,Z_2,\cdots,Z_k) = \sum_{i=1}^k Z_ih(Y1,⋯,Yk∣X1,⋯,Xk)=h(X1+Z1,⋯,Xk+Zk∣X1,⋯,Xk)=h(Z1,⋯,Zk∣X1,⋯,Xk)=h(Z1,Z2,⋯,Zk)=i=1∑kZi
所以
I(X1,⋯,Xk;Y1,⋯,Yk)=∑i=1kh(Yi)−h(Zi)≤∑i=1k(12ln⁡(2πe(Pi+Ni))−12ln⁡(2πeNi))=∑i=1k12ln⁡(1+PiNi)I(X_1,\cdots,X_k;Y_1,\cdots,Y_k) = \sum_{i=1}^k h(Y_i)-h(Z_i) \\ \le \sum_{i=1}^k \left( \frac{1}{2} \ln (2 \pi e (P_i + N_i)) - \frac{1}{2} \ln (2 \pi e N_i) \right) = \sum_{i=1}^k \frac{1}{2} \ln (1+\frac{P_i}{N_i})I(X1,⋯,Xk;Y1,⋯,Yk)=i=1∑kh(Yi)−h(Zi)≤i=1∑k(21ln(2πe(Pi+Ni))−21ln(2πeNi))=i=1∑k21ln(1+NiPi)
当且仅当Xi∼iidN(0,Pi)X_i \sim_{iid} N(0,P_i)Xi∼iidN(0,Pi)时取等。
因此
C=max⁡∑i=1kPi≤P∑i=1k12ln⁡(1+PiNi)C = \max_{\sum_{i=1}^k P_i \le P} \sum_{i=1}^k \frac{1}{2} \ln (1+\frac{P_i}{N_i}) C=∑i=1kPi≤Pmaxi=1∑k21ln(1+NiPi)
这个是个凸优化问题，最优解一定在边界取得，可以用Lagrange方法来解。定义
L(P1,⋯,Pk)=∑i=1k12ln⁡(1+PiNi)−λ(∑i=1kPi−P)∂L∂Pi=12(Pi+Ni)+λ=0⇒1Pi+Ni=−2λ=νL(P_1,\cdots,P_k) = \sum_{i=1}^k \frac{1}{2} \ln (1+\frac{P_i}{N_i}) - \lambda (\sum_{i=1}^k P_i - P) \\ \frac{\partial L}{\partial P_i} = \frac{1}{2(P_i+N_i)} + \lambda = 0 \Rightarrow \frac{1}{P_i+N_i} = -2\lambda = \nuL(P1,⋯,Pk)=i=1∑k21ln(1+NiPi)−λ(i=1∑kPi−P)∂Pi∂L=2(Pi+Ni)1+λ=0⇒Pi+Ni1=−2λ=ν
因为PiP_iPi是功率，因此
Pi=max⁡{0,ν−Ni}=(ν−Ni)+P_i = \max\{0,\nu-N_i\} = (\nu - N_i)_+Pi=max{0,ν−Ni}=(ν−Ni)+
根据∑i=1kPi=P\sum_{i=1}^k P_i = P∑i=1kPi=P，
∑i=1k(ν−Ni)+=P\sum_{i=1}^k (\nu - N_i)_+ = Pi=1∑k(ν−Ni)+=P
这个方程没有解析解，但这个解一般被称为Water-falling solution。

UA MATH636 信息论7 并行高斯信道简介相关推荐

UA MATH636 信息论7 高斯信道简介
UA MATH636 信息论7 高斯信道简介微分熵的性质 Gaussian Channel简介微分熵的性质讨论Gauss信道之前,先给出几条微分熵的有用的性质: Gibbs不等式:D(p∣∣q) ...
UA MATH636 信息论9 有限域简介
UA MATH636 信息论9 有限域简介域.有限域有限域上的多项式的四则运算有限域是研究Reed-Solomon code (RS code)的基础,RS code是一种非常常用的error- ...
UA MATH636 信息论8 纠错码简介
UA MATH636 信息论8 纠错码简介 Hamming Distance Property of Error Correction 这一讲开始介绍纠错码,error correction code ...
UA MATH636 信息论7 高斯信道
UA MATH636 信息论7 高斯信道高斯信道的容量 Shannon Limit Beyond Shannon Limit 这一讲讨论Capacity of Bandwidth-Limited G ...
UA MATH636 信息论5 信道编码简介
UA MATH636 信息论5 信道编码简介通讯的过程可以用下面这个流程图表示.信源发送一个随机信号WWW给信源编码器,编码器将信号WWW编码为XXX后发送到噪声信道进行传输,传输到接收端的解码器, ...
UA MATH636 信息论5 信道编码定理
UA MATH636 信息论5 信道编码定理信道编码问题信道容量的正式定义信道编码定理 Joint Typical Set Joint AEP 上一篇简介里面介绍了通讯的过程,并用下面的流程图来 ...
UA MATH636 信息论9 Berlekamp-Welch算法
UA MATH636 信息论9 Berlekamp-Welch算法 Naive RS decoder Berlekamp-Welch算法一个例子上一讲介绍了RS code,这一讲介绍RS code ...
UA MATH636 信息论9 Reed-Solomon Code
UA MATH636 信息论9 Reed-Solomon Code Reed-Solomon Code的构造一个例子先介绍一类code,maximum distance separable cod ...
UA MATH636 信息论8 线性纠错码的解码算法
UA MATH636 信息论8 线性纠错码的解码算法 standard array decoding syndrome decoding 考虑BSC,上一讲提到了ML decoder与MAP deco ...

UA MATH636 信息论7 并行高斯信道简介

UA MATH636 信息论7 并行高斯信道简介

UA MATH636 信息论7 并行高斯信道简介相关推荐

最新文章

热门文章