P02014132 魏思奇对信息论几个问题的一些看法

学号：P02014132 姓名：魏思奇

对信息论几个问题的一些看法

Question 1：对于信源的发送和接收，我们日常生活中有哪些应用？举例说明其工作原理与信息论的关系

Question 2：在面临香农公式被逼近极限，未来无线通信会朝着哪些方向发展？结合信息论谈一下自己的见解

Question 3：在通信系统中，除了常见的高斯白噪声还有哪些噪声会对我们无线传输造成影响？

Question 4：简述LZ编码原理，并举例说明[按照书中例5-10的条件，若输入信源符号序列U=(abbabaabbabab)]则对应的输出编码是什么？

Question1: 对于信源的发送和接收，我们日常生活中有哪些应用？举例说明其工作原理与信息论的关系

通信，指人与人或人与自然之间通过某种行为或媒介进行的信息交流与传递，从广义上指需要信息的双方或多方在不违背各自意愿的情况下采用任意方法、任意媒质，将信息从某方准确安全地传送到另方。

通信系统的三要素是：信源（发端设备）、信宿（收端设备）和 信道（传输媒介）。

信息论：是一门应用概率论、随机过程和数理统计等方法来研究信息的存取、传输和处理中的一般规律的学科。

主要研究：如何提高信息系统的可靠性，有效性和安全性以使信息系统最优化。

信息论是在信息可以量度的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识，而信源的发送与接收正是传递信息的过程，是信息论的主要研究对象。

在古代，人类通过驿站、飞鸽传书、烽火报警、符号、身体语言、眼神、触碰等方式进行信息传递。

在现代科学水平的飞速发展，相继出现了无线电、固定电话、移动电话、互联网甚至视频电话等各种通信方式。通信技术拉近了人与人之间的距离，提高了经济的效率，深刻地改变了人类的生活方式和社会面貌，这些无一不与信息论息息相关。

信源的发送和接收在日常生活中的几个典型应用如下：

（1）烽火传军情

“烽火”是我国古代用以传递边疆军事情报的一种通信方法，始于商周，延至明清，相习几千年之久，其中尤以汉代的烽火组织规模为大。在边防军事要塞或交通要冲的高处，每隔一定距离建筑一高台，俗称烽火台，亦称烽燧、墩堠、烟墩等。

高台上有驻军守候，发现敌人入侵，白天燃烧柴草以“燔烟”报警，夜间燃烧薪柴以“举烽”（火光）报警。一台燃起烽烟，邻台见之也相继举火，逐台传递，须臾千里，以达到报告敌情、调兵遣将、求得援兵、克敌制胜的目的。其中，烽火可以看作是信源，邻台可以看作是接收信息的对象，即信宿。因此，烽火逐台传递的过程便可以看作是信源的发送和接收的过程，信号的种类为视觉信号。

（2）鸿雁传书

“鸿雁传书”是中国古老的民间传说，鸿雁属定期迁徙的候鸟，信守时间，成群聚集，组织性强。古人当时的通信手段较落后，渴望能够通过这种“仁义礼智信”俱备的候鸟传递书信，沟通信息。鸿雁传书的过程也可看作是信源的发送和接收的过程，其中鸿雁为传递信息的媒介，所传递的书信可以看成信源，接收书信的人称为信宿。

（3）通信塔

18世纪，法国工程师克劳德.查佩成功地研制出一个加快信息传递速度的实用通信系统。该系统由建立在巴黎和里尔230千米间的若干个通信塔组成。

在这些塔顶上竖起一根木柱，木柱上安装一根水平横杆，人们可以使木杆转动，并能在绳索的操作下摆动形成各种角度。在水平横杆的两端安有两个垂直臂，也可以转动。

这样，每个塔通过木杆可以构成192种不同的构形，附近的塔用望远镜就可以看到表示192种含义的信息。这样依次传下去，在230千米的距离内仅用2分钟便可完成一次信息传递。该系统在18世纪法国革命战争中立下了汗马功劳。

（4）信号旗

船上使用信号旗通信至今已有400多年的历史。旗号通信的优点是十分简便，因此，即使当今现代通信技术相当发达，这种简易的通信方式仍被保留下来，成为近程通信的一种重要方式。

在进行旗号通信时，可以把信号旗单独或组合起来使用，表示不同的意义。通常悬挂单面旗表示最紧急、最重要或最常用的内容。

例如，悬挂A字母旗，表示"我船下面有潜水员，请慢速远离我船"；悬挂O字母旗，表示"有人落水"；悬挂W字母旗，表示"我船需要医疗援助"等等。其中，信号的种类为视觉信号，所悬挂的不同字母的旗帜被赋予了不同含义，这在信息论中也是一个编码的过程。

（5）邮递

以实物传递为基础，虽然如今写信的人越来越少，但越简单越真实，越纯朴越真情，信件是信息传递最简单最纯朴的方式，更不因传递速度过快造成信息的溢漏；

快递是人类社会发展的的需要，主要原因是因为随着人类物质生活水平的提高服务需求面也越来越高，但其发展受交通运输制约无便利的交通运输怎么也快不起来。其中，邮件本身可以看作是信源，运输过程中的中转站可以看作是信道，接收邮件的站点可以看作是信宿。

（6）传真

传真是近二十多年发展最快的非话电信业务。

将文字、图表、相片等记录在纸面上的静止图像，通过扫描和光电变换，变成电信号，经各类信道传送到目的地，在接收端通过一系列逆变换过程，获得与发送原稿相似记录副本的通信方式，称为传真。

传真的主要技术有：扫描技术，记录技术，同步同相技术，传输技术。传真的通信过程包含扫描，光电变换，图像信号的传输，记录变换，收信扫描和同步同相。

传真是基于PSTN的电信信号通过设备中转传真信号。直接由于科技大迅速发展，电子网络传真逐渐成为取代传真机的新一代通信工具。

（7）卫星电话

基于卫星通信系统来传输信息的电话就是卫星电话。

卫星电话是现代移动通信的产物，其主要功能是填补现有通信(有线通信、无线通信)终端无法覆盖的区域，为人们的工作提供更为健全的服务。现代通信中，卫星通信是无法被其他通信方式所替代的，现有常用通信所提供的所有通信功能，均已在卫星通信中得到应用。

（8）电报

电报，就是用电信号传递的文字信息。通讯越来越迅捷，电报的作用已经不是很大了，也许有一天电报就会从我们的生活中消失了。

电报是通信业务的一种，是最早使用电进行通信的方法。它利用电流(有线)或电磁波(无线)作载体，通过编码和相应的电处理技术实现人类远距离传输与交换信息的通信方式。其用脉冲信号将0-9十个数字，以每四位不同数字组成一个电码，每个电码表示一个完整的汉字发到对方，收报方按照电传打字机上收到的电码，由人工再翻译成汉字，再由电报投递员送到收报人手中。其中，由电码表示所传输信息的过程在信息论中称为信源编码，人工翻译成汉字的过程称为信源解码。在传输电报的过程中通常需要对电报进行加密，接收方接收电报后需要对电报进行解密，倘若解密的方式不正确，所接收到的信息也是错误的，这对应于信息论中加密和解密的过程，体现了通信系统的安全性的传输指标；在传输电报的过程中，通常要求所传输的消息尽量精简，这样可以减少传输信息的时间，增加传输信息的效率，对应于信息论中信源压缩的过程，其能够大大提升传输信息的有效性。此外，在电报传输的过程中要求传输差错尽可能少，这样能够大大提升传输信息的可靠性。

电报大大加快了消息的流通，是工业社会的其中一项重要发明。早期的电报只能在陆地上通讯，后来使用了海底电缆，开展了越洋服务。

到了二十世纪初，开始使用无线电拍发电报，电报业务基本上已能抵达地球上大部份地区。电报主要是用作传递文字讯息，使用电报技术用作传送图片称为传真。

（9）数据通信

计算机网络中传输的信息都是数字数据，计算机之间的通信就是数据通信方式，数据通信是计算机和通信线路结合的通信方式。在数据通信中，按每次传送的数据位数，通信方式可分为：并行通信和串行通信。

并行通信是一次同时传送8位二进制数据，从发送端到接收端需要8根传输线。并行方式主要用于近距离通信，如在计算机内部的数据通信通常以并行方式进行。这种方式的优点是传输速度快，处理简单，其在信息论中可以理解为增加信息传输的带宽，从而增加信息传输的速度。

串行通信一次只传送一位二进制的数据，从发送端到接收端只需要一根传输线。串行方式虽然传输率低，但适合于远距离传输，在网络中（如公用电话系统）普遍采用串行通信方式。

Question2: 在面临香农公式被逼近极限，未来无线通信会朝着哪些方向发展？结合信息论谈一下自己的见解

1948年以前，没有人能清楚地描述信号传输速率和通道宽度、噪声大小以及信号功率的关系。直到香农提出了信息论，给出了香农公式：

C是单信道的信道容量，是指我们建立了一个单点输入、单点输出的通信通道（我们称为信道）后，这条通道每秒最多可以传送多少bit的信息量。B是信道的带宽，可以简单理解为分配给一个信道可用的频率范围的一半；S是传送信号的平均功率，而N则是噪声或者干扰信号的平均功率。

从香农公式可知，对于单信道而言，要增加信道容量C，无非三种方式：或增加带宽B，或增加信号功率S，或减少噪声或干扰信号的功率N。

随着无线通信的发展，带宽也好，功率也好，这些资源只会越来越紧张，香农公式也将越来越逼近极限，空间中无线电的相互干扰也只会越来越大。

对于有多个输入和多个输出的信道而言，即使不改变以上三个条件，只要能保证该系统中的各输入源或输出源的信号可以彼此区分，就可以提高总的信道容量。

比如，假设有一个单输入双输出的信道，并且，我们可以通过某种方式区分每个输入信号到底是该到达输出1，还是该到达输出2。那么，这个系统就可以看成两个独立的信道：一个是从输入到输出1，一个是从输入到输出2。

图1 单输入双输出信道

如果这个模型是无线电传输的，则信道的噪声N不会变化。信号总功率还定为S，每个信道各分一半，即S/2。那么我们很容易推算，这个信道的总容量为：

$C=Blog_2(1+S/2N)+Blog_2(1+S/2N)=2Blog_2(1+S/2N)$

为了做个简单比较，我们假定S/N=10，B=1Hz，就很容易算出在单信道的情况下，单信道容量约为3.46Bits/S，而新的信道的总容量为5.17Bits/S。5G，即第五代移动通信，主要就是利用多输入与多输出技术（Multiple-Input Multiple-Output，MIMO）来提高信道容量的。

这个例子还给我们另外一个启示：牺牲单个信道的功率，虽然单个信道的容量有所降低，但是这个降低却能换来信道数目的增长。因此，有的时候，牺牲一定的带宽、提高一点噪声或是降低一点信号功率，如果能使输入或输出信号之间的区分度增加，也是可以提高信道总容量的。这正是5G的另一类重要技术，非正交复用技术（Non-Orthogonal Multiple Access，NOMA）的原理基础。

（1）多输入与输出技术（MIMO）

对于无线通信而言，MIMO是指在基站上使用更多数量的天线。这当然就意味着在不增加频带和功率的情况下增加信道容量。

最能在直观上体现这种信道容量增加的，是波束赋形（beam forming）技术。

我们都很清楚，无线电波是一种电磁波，和水波、声波一样，有相干现象。如图2所示，如果使用很多天线发射同样频率的电磁波，控制好发射的波的相位，就可以让这个信号向一个或几个特定的方向传播。这样的信号不仅能量集中，远距离传输时功率也不会急剧降低，还可以区分不同的空间位置。利用这种区分度，也就相当于建立了更多的信道。

而MIMO的一般解释要涉及无线电信号的基本传输模型，这里我就不展开讲解了。只是给出当接收和发射天线都比较多时，其信道容量的常见的估计公式：

$C=min(mR,mT)Blog_2(1+S/N)$

这里mT和mR分别是信道中发射和接收天线的数量，min表示mT和mR两者中的最小值。可见，天线数量的增加，大大提升了系统的信道容量，从而能够缓解香农公式被逼近极限的问题。

图2 波束赋形（蓝色圆圈表示电磁波，这些圆圈的叠加有方向性，指向与天线排列平行的方向。）

（2）非正交复用技术（NOMA）

非正交复用技术（NOMA）是指利用某种资源差异（比如接收功率差异、空间位置差异等）来区分不同接收手机的收发信号的技术。由于这些手机和基站之间使用的是同一个频道，只通过资源差异做一定区分，这在通信技术上意味着无法划出独立的信道，所以叫“非正交”。

最成熟的NOMA方式是利用功率差异。如图3，基站通过功率检测发现，手机1、2、3依次从近到远分布。那么，基站就可以把发给3的信号功率调到最强，发给2的次之，发给1的最弱。这些信号可以在同一个频段内发出。

于是，在手机1收到的信号中，最强的信号是3的，其次是2的，最弱的才是自己的。那么，手机1就可以先将其他信号当成噪声，解出3的信号，然后将3的信号从接收信号中扣除。再在经过扣除的信号中，解出2的信号并扣除。最后才解出自己的信号。

而对于手机2，由于其离基站有一定的距离，所以收到的1的信号相当弱，只要将其当噪声就可以了。剩下要做的，就是参照上面的方法，扣除手机3的信号，解出自己的信号。

手机3就更不必说了，它收到的手机1、2的信号都相当弱，只需解出自己的信号就可以了。

这种信号处理的方式叫作“连续干扰消除”（successive interference cancellation ，SIC），是指通过一连串信号的扣除来去掉干扰。

正是通过这样的方式，我们再次提高了信道的容量，从而能够缓解香农公式被逼近极限的问题。。

图3 利用功率差异实现NOMA

Question3: 在通信系统中，除了常见的高斯白噪声还有哪些噪声会对我们无线传输造成影响？

通信系统中，根据噪声的来源，一般可分为三类：

人为噪声：指人类活动所产生的对通信造成干扰的各种噪声；

自然噪声：指自然界存在的各种电磁波源所产生的噪声；

内部噪声：指通信设备本身产生的各种噪声，来源于通信设备的各种电子器件、传输线、天线等。

根据噪声性质，常见的噪声可分为以下几类：

脉冲噪声（椒盐噪声、离散型）：突发性地产生幅度很大、持续时间很短、间隔时间很长的干扰。由于持续时间很短，故频谱较宽，可以从低频一直分布到甚高频，但频率越高频谱强度越小。电火花就是一种典型的脉冲噪声。（不是普遍地、持续地存在的，对于话音通信的影响也较小，但对数字通信可能有较大影响）；

窄带噪声（单频噪声、连续型）：可以看做是一种非所需的连续的已调正弦波，或简单地就是一个幅度恒定的单一频率的正弦波。通常来自相邻电台或其它电子设备。窄带噪声的频率位置通常是确知的或可以测知的。（只存在于特定频率、特定时间和特定地点，所以影响有限）；

起伏噪声（高斯噪声、连续型）：在时域和频域内都普遍存在的随机噪声。热噪声、电子管内产生的散弹噪声和宇宙噪声等都属于起伏噪声（通信系统最基本的噪声源，主要考虑起伏噪声（特别是热噪声）。

具体噪声种类如下：

1.窄带高斯噪声：当高斯噪声通过以 $w_c$ 为中心角频率的窄带系统时，就可形成窄带高斯噪声。所谓窄带系统是指系统的频带宽度 $\Delta f$ 远远小于其中心频率 $f_c$ 的系统，即 $\Delta f<<f_c=w_c/2\pi$ 的系统。这是符合大多数信道的实际情况的。

窄带高斯噪声的特点是频谱局限在 $\pm w_c$ 附近很窄的频率范围内，其包络和相位都在作缓慢随机变化。如用示波器观察其波形，它是一个频率近似为 $f_c$ ，包络和相位随机变化的正弦波。

因此，窄带高斯噪声 $n(t)$ 可表示为 $n(t)=\rho (t)cos[w_ct+\varphi (t)]$ 。式中, $\rho (t)$ 为噪声 $n(t)$ 的随机包络; $\varphi (t)$ 为噪声 $n(t)$ 的随机相位。相对于载波 $cosw_ct$ 的变化而言，它们的变化要缓慢的多。

2.正弦信号加窄带高斯噪声：信道中加性噪声无时不在，信号经过信道传输总会受到它的影响。因此，接收端收到的信号实际上是信号与噪声的合成波。通信系统中，常常碰到的合成信号具有正弦信号加窄带高斯噪声的形式，如在分析2ASK、2FSK、2PSK等信号抗噪声性能时，其信号均为 $Acos(wt+\theta )$ 形式。下面研究该合成信号的包络及其相位的统计特性。

正弦信号加上信道噪声后的合成信号 $r(t)$ 可以表示为

$r\left ( t \right )=Acos\left ( w_ct+\theta \right )+n\left ( t \right )$

$=Acos\theta cos w_ct-Asin\theta sinw_ct+n_c(t)cosw_ct-n_s(t)sinw_ct$

$=\left [ Acos\theta +n_c(t) \right ]cosw_ct-\left [ Asin\theta +n_s(t) \right ]sinw_ct$

$=\rho (t)cos\left [ w_ct+\varphi (t) \right ]$

式中， $n(t)=n_c(t)cosw_ct-n_s(t)sinw_c(t)$ 为信道加性窄带高斯噪声； $\rho (t)=\sqrt{[Acos\theta +n_c(t)]^{2}+[Asin\theta +n_s(t)]^{2}}$ , $\varphi (t)=arctan\frac{Asin\theta +n_s(t)}{Acos\theta +n_c(t)}$

分别为合成信号的随机包络和随机相位。

3.余弦信号加窄带高斯噪声：

①余弦信号和窄带高斯噪声的随机包络服从广义瑞利分布（也称莱斯分布)。若信号幅度A→0时，其随机包络服从瑞利分布。

②余弦信号加窄带高斯噪声的随机相位分布与信道中的信噪比有关，当信噪比很小时，它接近于均匀分布。

4.散弹噪声：散弹噪声是一种发生于有源器件内部的载流子或电子发射的随机性而形成的散弹效应起伏过程。分析表明，散弹噪声可以认为是由大量宽度甚窄的脉冲的随机叠加。散弹噪声的功率谱直到f=2.2× $10^{^{9}}$ Hz都是基本上平坦的带限白噪声。就实用带宽范围而言，可以认为是白色噪声。

散弹噪声最典型的例子是饱和二极管中电子发射的随机性形成在直流分量电流 $I_0$ 上下的电流起伏。如图所示。由图可知，电流 $i(t)=I_0+i_n(t)$ , $i_n(t)$ 就是散弹噪声。由中心极限定理可以证明，散弹噪声 $i_n(t)$ 是一高斯过程，且均值为零。 $i_n(t)$ 的起伏是非常微弱的，显然，只有在研究接收微弱信号或讨论微弱信号放大等场合，才有考虑这种散弹噪声的必要。

5.热噪声：热噪声通常又称为电阻热噪声。它的功率谱均匀分布的频率范围约为 $10^{13}$ Hz，通常认为它是典型的白噪声。我们知道，在一定温度下，任何物体都在不断地骚动，骚动着的物体、通过力和电磁的方式与周围环境交换能量。按照统计力学的能量等配定律，在温度T之下，一个运动自由度的能量平均值等于1/2KT，这里K是玻耳兹曼常数，K=1.38× $10^{-23}$ J/K;T是热力学温度。

热骚动同样以电的形式在电路中表现出来。电路中的电流或电路两点之间的电位差，被发现在不停地起伏，在处于一定温度下的电路中，这种起伏是无法避免的。因为热就是物质的无规则的运动。电路中的起伏，在高灵敏度的情况下，很早就被人所觉察。当存在于一个电路中的信号的振幅小到与这种随机热骚动导致的电压起伏具有相同数量级时，这种热起伏将明显地为干扰信号。

人们发现，所关心的物理量的起伏状况，包括起伏方差，以及起伏过程的快慢程度（即起伏过程的自相关时间)与所关心的电路的各种参量有关。因此，有必要寻求出一个计算这些起伏特征的方法。这个方法就是应用热噪声的奈奎斯特定理。线性电路中，热噪声的计算方法可归结为: 在温度T下，任意线性网络内任—节点电压或支路电流的热噪声的功率谱为：

等效的噪声电压源功率谱S(w) = 2KTR

等效的噪声电流源功率谱S(w) = 2KTG

式中，G=1/R，K是玻耳兹曼常数，T是热力学温度。上述内容，实质上就是热噪声的奈奎斯特定理。

6.宇宙噪声：是指天体辐射波对接收机形成的噪声。它在整个空间的分布是不均匀的，最强的来自于银河系的中部，其强度与季节、频率等因素有关。实测表明，在20MHz~30MHz的频率范围内，它的强度与频率的3次方成正比。因此，当频率低于300MHz时，就要考虑到它的影响。实践证明，宇宙噪声也是服从高斯分布的。在一般信号的工作频率范围内，它具有较为平坦的功率谱密度，均值为零。

Question4: 简述LZ编码原理，并举例说明[按照书中例5-10的条件，若输入信源符号序列U=(abbabaabbabab)]则对应的输出编码是什么？

设信源符号集 $A=\left \{ a_1,a_2,...,a_k \right \}$ 共 $K$ 个符号,设输入信源符号序列为 $U=\left ( u_1,u_2,...,u_L \right )$ ,编码是将此序列分成不同的段。分解是迭代进行的,在第 $i$ 步, 编码器从 $s__{i-1}$ 短语后的第一个符号开始向后搜索在此之前未出现过的最短短语 $s_i$ , 将短语 $s_i$ 添入字典第 $i$ 段。由于 $s_i$ 是此时字典中最短的新短语,所以 $s_i$ 在去掉最后一个符号 $x$ 后所得的前缀必定是字典中之前已经出现过的。若设此前缀是在第 $j(<i)$ 步时出现的, 则对 $s_i$ 的编码就可利用 $j$ 和 $s_i$ 最后一位符号 $x$ 来表示, 即为码字 $\left ( j,x \right )$ 。对于段号 $j$ ,最多需要 $\left \lceil logi \right \rceil$ bit表示,而符号 $x$ 只需 $\left \lceil logK \right \rceil$ bit。若编码后的字典中短语共有 $M(U)$ 个,则 $U$ 序列编码后输出的码流总长度为 $\sum_{i=1}^{M(U)}\left ( \left \lceil logi \right \rceil +\left \lceil logK \right \rceil\right )$ 。

LZ编码步骤：

第一步：将信源输出序列分成各不相同的码段，尽可能取最短码段且各段不相同。

第二步：将第一步分好的各码段作为字典内容，码段的序号作为字典索引。

第三步：编码，新的码段是前面出现过的码段与新的信源输出的拼接。

码字就是前面码段的二进制字典索引加上新的信源输出比特。

具体实例如下：

对于信源符号集 $A=\left \{ a,b \right \}$ ,输入信源符号序列 $U\doteq \left ( abbabaabbababb \right )$ ,编码输出二进制码流。

分析：首先对输入序列进行分段,最先出现的是单符号 $a$ 和 $b$ ,分别赋予段号1和2，由于是单符号，没有前缀，因而码字中的 $j$ 赋0，则对应段号1和段号2的码字分别为 $\left ( 0,a \right )$ 和 $\left ( 0,b \right )$ 。接着信源序列出现符号 $b$ ，由于之前字典中已有，所以最短的新短语应为 $ba$ ,为段号3，前缀 $b$ 为段号2，因此对应的码字为 $\left ( 2,a \right )$ 。按照这样的规则分解序列，直至最后，所分解的序列为 $a|b|ba|baa|bb|ab|abb$ 。由于最终需要编成二进制码，故将信源符号 $a$ 编码为0，符号 $b$ 编码为1，再将段号用 $\left \lceil logi \right \rceil$ 长度的二进制数表示，最后得到输出的二进制码流为0001100110010100111101

短语	a	b	ba	baa	bb	ab	abb
段号	1	2	3	4	5	6	7
码字	(0, a)	(0, b)	(2, a)	(3, a)	(2, b)	(1, b)	(6, b)
二进制码	(0, 0)	(0, 1)	(10, 0)	(11, 0)	(010, 1)	(001, 1)	(110, 1)