摘要

信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科。而编码技术研究的主要内容是如何既可靠又有效地传输信息。1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。次年，他又发表了另一篇著作《噪声下的通信》。人们认为这两篇文章成了现在信息论的奠基著作。1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理，此后发展成为信息率失真编码理论。现在，信息理论广泛应用在通信、计算机等领域，随着通信安全与质量的高要求化，编码技术也在不断地突飞猛进。

关键词

信息论编码综述

正文

信息论是通过应用密码学、概率论、信息熵、通信系统、随机过程等方法，来研究信息的传输、提取和处理系统的一门学科（如图1[[1]]所示）。信息论在统计物理（热力学）计算机科学（科尔莫戈罗夫复杂度）、推断统计（奥卡姆剃刀）等学科方向中都有奠基性的贡献。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。

图 1 信息论研究领域

1948年香农在《贝尔系统技术杂志》上发表了《通信的数学理论》。次年，他又发表了另一篇著作《噪声下的通信》。人们认为这两篇文章成了现在信息论的奠基著作。1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理，此后发展成为信息率失真编码理论。

香农第一定理是可变长无失真信源编码定理、香农第二定理是有噪信道编码定理、香农第三定理是保失真度准则下的有失真信源编码定理。香农的这三大定理是信息论的基础理论。这三大定理都是存在性定理，虽然并没有提供具体的编码实现方法，但为通信信息的研究指明了方向。

从图2可知，当信源、信道、信宿确定后，编码与译码部分对信号的传输将起至关作用。因此，自信息论发展以来，许多科学家对编码的研究也是从未止步。

图 2 信息传输模型

由于香农虽然指出了可以通过差错控制码在信息传输速率不大于信道容量的前提下实现可靠通信，但却没有给出具体实现差错控制编码的方法，对于编码的实现一直止步不前。终于，在1949年，R.Hamming和M.Golay提出了第一个实用的差错控制编码方案，人类在信道编码上实现了第一次的突破。

数学家R.Hamming将每4个比特的输入数据设置成一组，并通过计算这些信息的线性组合来得到3个校验比特，然后将得到的7个比特输入计算机。通过按照设定的算法和原则，计算机能读取这些字码并够检测到是否有错误，同时还可定位到发生错误的具体位置。该码还可以纠正比特串中发生的单个比特错误。这个编码方法就是分组码的基本思路，这个编码方案后来被命名为汉明码。由于每4个比特编码就需要3个比特的冗余校验比特，而且在一个码组中只能纠正单个比特错误，这使得汉明码的编码效率较低。

M.Golay先生研究了汉明码的缺点，提出了Golay码。通过将不同个数的信息比特分为一组，Golay码可以分为二元Golay码和三元Golay码。前者将信息比特每12个分为一组，编码生成11个冗余校验比特，相应的译码算法可以纠正3个错误；后者的操作对象是三元而非二元数字，三元Golay码将每6个三元符号分为一组，编码生成5个冗余校验三元符号，这样由11个三元符号组成的三元Golay码码字可以纠正2个错误。

Elias在1955年提出卷积码编码方式。卷积码与分组码的不同在于：它充分利用了各个信息块之间的相关性。通常卷积码记为(n,k,N)码。卷积码的编码过程是连续进行的，依次连续将每k个信息元输入编码器，得到n个码元，得到的码元中的检验元不仅与本码的信息元有关，还与以前时刻输入到编码器的信息元(反映在编码寄存器的内容上)有关。同样，在卷积码的译码过程中，不仅要从本码中提取译码信息，还要充分利用前后时刻收到的码组。从中提取相关信息，而且译码也是可连续进行的，这样可以保证卷积码的译码延时相对比较小。

图 3 卷积码编码器一般原理

1967年，Viterbi提出了Viterbi译码算法。在Viterbi译码算法提出之后，卷积码在通信系统中得到了极为广泛的应用，如GSM、 IS-95 CDMA、3G、商业卫星通信系统等。

1993年，在日内瓦召开的 IEEE通信国际会议上，两位当时普通的法国电机工程师C.Berrou和A.Glavieux称他们发明了一种编码方法，可使信道编码效率接近香农极限[[2]]。

在Turbo码解码过程中，某一特定比特的电平被量化为整数。其数值就作为判决该比特为“1”或“0”的可置信度的度量。Turbo码系统在发射端和接收端分别设置两个编[[3]]码器和解码器。其中一对编解码器对特定的一段比特流进行奇偶校验码的加入和校验计算，另一对编解码器则在同一段码流经过交织扰动后对其进行上述同样操作。

图 4 Turbo码原理图

一开始，Turbo码只是应用于一些特殊场合，比如卫星链路。后来，研究人员将它扩展到数字音频和视频广播领域。紧接着，Turbo码成为通信研究的前沿，Turbo码成为了始于本世纪初的3G/4G移动通信技术的核心，直到今天4.5G依然在采用。

1999年，LDPC低密度奇偶校验码于1962年由Gallager提出，然后，被人们遗忘了。直到Turbo码被提出以后，人们才发现Turbo码从某种角度上说也是一种LDPC码[[4]]。

图 5 LDPC码系统框图

2007年，土耳其比尔肯大学教授E.Arikan基于信道极化理论提出的一种线性信道编码方法，即Polar码。该码字是迄今发现的唯一一类能够达到香农限的编码方法，并且具有较低的编译码复杂度，当编码长度为N时，复杂度大小为 O ( NlogN) [[5]]。Polar码的编码策略正是应用了这种现象的特性，利用无噪信道传输用户有用的信息，全噪信道传输约定的信息或者不传信息。Polar码比Turbo码和LDPC码更接近信道容量，Polar码可以保证5G任何场景的高性能通信。

结论

信道编码技术广泛应用于数字通信系统中，有的已经被应用于某些无线通信标准中。相信随着信道编码技术会随着信道编码理论的发展在通信领域得到更深入的应用。

[[1]] Cover T M, Thomas J A. Elements of information theory[M]. John Wiley & Sons, 2012.

[[2]] 刘东华.Turbo码原理与应用技术[M].北京:电子工业出版社,2004.

[[3]] 卢彦民.纠错码ASIC设计及低功耗设计研究[M],2007

[[4]] 白宝明,孙成,陈佩瑶,等.信道编码技术新进展[J].无线电通信技术,2016,42(6):1-8.

[[5]] ARIKAN E.Channel Polarization:a method for construction capacity-achieving codes for symmetric binary-input memoryless channels[J].IEEE Transactions on Information Theory,2009,55(7):3051-3073.

基于信息论的编码技术相关推荐

信息论与编码技术之无失真信源编码小结
目录前言: 一．信源编码的概念(基本概念,分类,要求,目的) 1.对信源编码的要求: 2.分类 3.信源编码的目的:减小冗余,提高效率二．定长码 1.信源存在唯一可译定长码的条件 2.定长编码定理 ...
信息论与编码冯桂周林著答案_信息论与编码技术+(冯桂+林其伟+陈东华+著)+清华出版社+课后答案.pdf...
Chap1 1.1 1.2 1948 1948 A.FeinsteinJ.Wolfowitz 1959 1961 1.3 1.4 1 2 3 4 5 1.5 1.6 1.7 1.8 Chap2 2.1 ...
信息论与编码技术之离散信道及其容量总结
目录前言: 一．分类与信道数学模型(概念) 二．离散无记忆信道DMC(基本概念,几种常用的DMC的定义,I(X;Y)计算) 1.离散无记忆信道DMC的充要条件(掌握证明,含义) 2.平稳信道三．信 ...
《信息论与编码》学习笔记
信息论与信息编码文章目录信息论与信息编码 1. 准备知识和教材 1.1. 学科关联 1.2. 准备知识 1.3. 教材 1.4. 理论体系的简要概述 1.5. 编码技术的举例 1.5.1. 压缩编 ...
信息论与编码冯桂周林著答案_信息论与编码.冯桂周林冯桂、周林 9787302424277 清华大学出版社信息论与编码.冯桂周林正版图书...
商品描述: 基本信息书名:信息论与编码.冯桂周林定价:39.05元.注定价是图书封底的标价,售价是顾客支付的价格. 作者:冯桂.周林出版社:清华大学出版社出版日期:2016-07 注出版 ...
音视频编码技术与格式大全
来自Video.com.cn(视频网) 一.常见视频格式中采用的技术当PC开始拥有FPU(浮点处理器)后,PC如何处理多媒体信息的问题也被摆上台面.无数专家开始为音频视频编码技术运用在PC上开始忙碌 ...
android直播视频编码,Android手机直播之视频编码技术
今天我们继续给大家讲解Android手机直播流程中的编码技术,编码过程分为视频和音频解码,这篇文字先介绍视频编码的技术.图玩智能为企业提供直播平台的二次开发服务,为大家搭建更加完善的直播系统,欢迎随时 ...
中南大学张昊：我非常期待基于AI的图像视频编码技术的创新
点击上方"LiveVideoStack"关注我们策划:包研.Alex 编辑:Alex 张昊年终访谈 #002# 编者按:本周是2021年的最后一周,在这个迎接新年的日子里,Li ...
unicode 生僻字_基于Unicode编码技术的地名生僻字库研究
基于 Unicode 编码技术的地名生僻字库研究江 [摘要] 目前数字线划图及地名数据库内存在着大量未规范表示的生僻汉字, 严重影响了地理信息数据开发应用的准确性和规范性.介绍了运用 Openty ...
智能消息服务-数字短信使用FAQ简介：数字短信是基于普通短信，通过一套编码技术实现的短信服务。它能把视频、音频、网页、GIF图、文字等多种表现形式通过多媒体短信形式触达用户。本文将带你了解阿里云通信
简介: 数字短信是基于普通短信,通过一套编码技术实现的短信服务.它能把视频.音频.网页.GIF图.文字等多种表现形式通过多媒体短信形式触达用户.本文将带你了解阿里云通信数字短信产品的开通与使用. 一. ...

基于信息论的编码技术

摘要

关键词

正文

基于信息论的编码技术相关推荐

最新文章

热门文章

基于信息论的编码技术

摘 要

关键词

正 文

基于信息论的编码技术相关推荐

最新文章

热门文章

摘要

正文