UA MATH636 信息论7 高斯信道

高斯信道的容量
- Shannon Limit
- Beyond Shannon Limit

这一讲讨论Capacity of Bandwidth-Limited Gaussian Channel。这种高斯信道有两个重要特征：连续时间、带宽限制。假设Bandwidth-Limited Gaussian Channel输入与输出的关系是：
Yt=(Xt+Zt)∗htY_t = (X_t + Z_t)*h_tYt=(Xt+Zt)∗ht
这个信道的功能可以用下面的图表示：

input

Signal

Noise

Filter

Receiver

其中XtX_tXt是输入的信号，ZtZ_tZt是高斯白噪声（参考SDE第一讲），h(t)h(t)h(t)是理想带通滤波器（ideal band-pass filter），YtY_tYt是接收端收到的信号。假设hth_tht（也记作H(f)H(f)H(f)，fff是信号的频率）的带宽为WWW，则
H(f)=I(∣f∣≤W)H(f)=I(|f| \le W)H(f)=I(∣f∣≤W)
运算∗*∗表示卷积。根据卷积的线性性，
Yt=(Xt+Zt)∗ht=Xt∗ht+Zt∗htY_t = (X_t + Z_t)*h_t = X_t *h_t + Z_t*h_tYt=(Xt+Zt)∗ht=Xt∗ht+Zt∗ht
根据这个式子画出的信道的示意图为：

input

Signal

Filter

Noise

Filter

Receiver

高斯信道的容量

使用信号处理的Nyquist-Shannon采样定理：如果随机信号ftf_tft带宽被限制为WWW，则抽样率为12W\frac{1}{2W}2W1（每秒从随机信号中抽样2W2W2W次）的样本是ftf_tft的充分统计量；根据这个定理可以将连续时间信号转换为离散时间的来考虑。因为Xt∗htX_t*h_tXt∗ht的带宽为WWW，因此可以按2W2W2W的频率采样将其离散化。

关于ZtZ_tZt，它有一个重要的性质，高斯白噪声信号的功率谱密度（PSD）是常数，假设ZtZ_tZt的方差为N0N_0N0，则
PSD(f)=N02PSD(f)=\frac{N_0}{2}PSD(f)=2N0
考虑Zt∗htZ_t*h_tZt∗ht，这一项为filtered noise，它的功率谱密度为
RZ∗h(f)=N02I(∣f∣≤W)R_{Z*h}(f) = \frac{N_0}{2}I(|f| \le W)RZ∗h(f)=2N0I(∣f∣≤W)
根据Nyquist-Shannon采样定理，按2W2W2W的频率对Zt∗htZ_t*h_tZt∗ht采样，样本是这个连续信号的充分统计量，并且是一个离散信号。

上一讲推导了离散时间高斯信道的容量为：
12ln⁡(1+PN)\frac{1}{2}\ln \left(1 + \frac{P}{N} \right)21ln(1+NP)
这一讲的目标是把这个公式套用到连续时间高斯信道上。

首先计算filtered noise的自相关函数（ACF，auto-correlation function），
ACF(τ)=F−1(PSD)=N02sinc(τ)ACF(\tau) = \mathcal{F}^{-1}(PSD) = \frac{N_0}{2} sinc(\tau)ACF(τ)=F−1(PSD)=2N0sinc(τ)
根据sincsincsinc函数的性质，样本的自相关函数为
ACFsample(n2W)=N02I(n=0),n∈NACF_{sample}(\frac{n}{2W}) = \frac{N_0}{2}I(n = 0),n\in \mathbb{N}ACFsample(2Wn)=2N0I(n=0),n∈N
不妨记离散的噪声序列为Z~(i2W)\tilde{Z}(\frac{i}{2W})Z~(2Wi)，上式说明
E[Z~(i2W)Z~(i2W)]=N02E[Z~(i2W)Z~(j2W)]=0E[\tilde{Z}(\frac{i}{2W})\tilde{Z}(\frac{i}{2W})]=\frac{N_0}{2} \\ E[\tilde{Z}(\frac{i}{2W})\tilde{Z}(\frac{j}{2W})]=0E[Z~(2Wi)Z~(2Wi)]=2N0E[Z~(2Wi)Z~(2Wj)]=0
从而采样的离散噪声序列服从N(0,N02)N(0,\frac{N_0}{2})N(0,2N0)。

信号的power per sample为P2W\frac{P}{2W}2WP，因此做了离散处理后这个信道的容量为（这里的单位是bits/sample*sec）
12ln⁡(1+PN)=12ln⁡(1+P2WN02)\frac{1}{2}\ln \left(1 + \frac{P}{N} \right) = \frac{1}{2}\ln \left(1 + \frac{\frac{P}{2W}}{\frac{N_0}{2}} \right)21ln(1+NP)=21ln(1+2N02WP)
因此这个信道的信道容量为
C=Wln⁡(1+PN0W)C = W \ln \left(1 + \frac{P}{N_0W} \right)C=Wln(1+N0WP)
如果PPP固定，
C∞=lim⁡W→∞C=lim⁡W→∞Wln⁡(1+PN0W)=PN0C_{\infty}=\lim_{W \to \infty} C = \lim_{W \to \infty} W \ln \left(1 + \frac{P}{N_0W} \right) = \frac{P}{N_0}C∞=W→∞limC=W→∞limWln(1+N0WP)=N0P
如果用bits为单位，则为
C∞=PN0ln⁡2C_{\infty} = \frac{P}{N_0 \ln 2}C∞=N0ln2P

Shannon Limit

假设某个通讯系统的传输率为RbR_bRb，其含义是传输一个kkk bits的信号需要TTT s，则
Rb=kTR_b = \frac{k}{T}Rb=Tk
这个信号的能量为
E=PT=kEbE = PT = kE_bE=PT=kEb
EbE_bEb的含义是energy per bit，则
Eb=PTkE_b = \frac{PT}{k}Eb=kPT
根据信道容量的定义，
Rb≤C∞⇔C∞Rb>1⇒P/N0ln⁡2Tk=EbN0ln⁡2>1⇒EbN0>ln⁡2R_b \le C_{\infty} \Leftrightarrow \frac{C_{\infty}}{R_b}>1 \\ \Rightarrow \frac{P/N_0}{\ln 2} \frac{T}{k} = \frac{E_b}{N_0 \ln2} >1 \Rightarrow \frac{E_b}{N_0} > \ln 2Rb≤C∞⇔RbC∞>1⇒ln2P/N0kT=N0ln2Eb>1⇒N0Eb>ln2
也就是说，要实现reliable communication，单个字节的信噪比至少要超过ln⁡2\ln 2ln2，这里ln⁡2\ln 2ln2又叫做Shannon Limit，它是reliable communication的极限。

Beyond Shannon Limit

假设固定压缩率，对于长度为NNN的信号，假设信源编码后被压缩为kkk bits，则压缩率为R=k/nR=k/nR=k/n。假设这一段是连续时间随机信号，则采样得到的样本数为2WT=N2WT=N2WT=N（Nyquist-Shannon）。从而
Rb=kT=kN2W=2WkN=2WRR_b = \frac{k}{T} = \frac{k}{\frac{N}{2W}} = 2W \frac{k}{N} = 2W RRb=Tk=2WNk=2WNk=2WR
根据信道容量的含义
Rb=2WR<Wln⁡(1+PN0W)R_b = 2WR < W \ln \left(1 + \frac{P}{N_0W} \right)Rb=2WR<Wln(1+N0WP)
因为
PN0W=kEbTN0W=2REbN0\frac{P}{N_0W} = \frac{kE_b}{TN_0W} = \frac{2RE_b}{N_0}N0WP=TN0WkEb=N02REb
带入到上面的不等式
2R<ln⁡(1+2REbN0)2R < \ln (1+\frac{2RE_b}{N_0})2R<ln(1+N02REb)
从中求解出Eb/N0E_b/N_0Eb/N0：
EbN0>22R−12R\frac{E_b}{N_0} > \frac{2^{2R}-1}{2R}N0Eb>2R22R−1
当R→0R \to 0R→0时，这个下界趋近于Shannon Limit。

UA MATH636 信息论7 高斯信道相关推荐

UA MATH636 信息论7 高斯信道简介
UA MATH636 信息论7 高斯信道简介微分熵的性质 Gaussian Channel简介微分熵的性质讨论Gauss信道之前,先给出几条微分熵的有用的性质: Gibbs不等式:D(p∣∣q) ...
UA MATH636 信息论7 并行高斯信道简介
UA MATH636 信息论7 并行高斯信道简介考虑并行的高斯信道:将一个长信号分为kkk段,走一个并行的高斯信道,被接受后再把信号拼起来.每一个高斯信道的输入为Xi,i=1,⋯,kX_i,i=1, ...
UA MATH636 信息论9 Berlekamp-Welch算法
UA MATH636 信息论9 Berlekamp-Welch算法 Naive RS decoder Berlekamp-Welch算法一个例子上一讲介绍了RS code,这一讲介绍RS code ...
UA MATH636 信息论9 Reed-Solomon Code
UA MATH636 信息论9 Reed-Solomon Code Reed-Solomon Code的构造一个例子先介绍一类code,maximum distance separable cod ...
UA MATH636 信息论9 有限域简介
UA MATH636 信息论9 有限域简介域.有限域有限域上的多项式的四则运算有限域是研究Reed-Solomon code (RS code)的基础,RS code是一种非常常用的error- ...
UA MATH636 信息论8 线性纠错码的解码算法
UA MATH636 信息论8 线性纠错码的解码算法 standard array decoding syndrome decoding 考虑BSC,上一讲提到了ML decoder与MAP deco ...
UA MATH636 信息论8 线性纠错码
UA MATH636 信息论8 线性纠错码线性码的性质 Decode Linear Code 更细致地定义下记号,记 kkk bits信号为向量 m=[m0,⋯,mk−1]m=[m_0,\cdots ...
UA MATH636 信息论8 纠错码简介
UA MATH636 信息论8 纠错码简介 Hamming Distance Property of Error Correction 这一讲开始介绍纠错码,error correction code ...
UA MATH636 信息论6 微分熵
UA MATH636 信息论6 微分熵 Differential Entropy Conditional Differential Entropy Differential Entropy of Ga ...

UA MATH636 信息论7 高斯信道

UA MATH636 信息论7 高斯信道

高斯信道的容量

Shannon Limit

Beyond Shannon Limit

UA MATH636 信息论7 高斯信道相关推荐

最新文章

热门文章