追忆信息论之父－香农博士

标题: 追忆信息论之父－香农博士

2001年2月24日，在步入新世纪仅仅2个月之后，当代最伟大的数学家和贝尔实验室最杰出

的科学家之一，香农（Claude Elwood Shannon）博士在与疾病顽强搏斗了5年之后不幸与

世长辞，享年84岁。

香农博士于1916年4月30日出生在美国密执安州的Petoskey；1936年毕业于密执安大学获数

学和电子工程学士学位；1940年获得麻省理工学院数学博士学位和电子工程硕士学位。

从1941年起，他加入了贝尔实验室数学部，与当时贝尔实验室的许多著名科学家们一起工

作了十五年，他们当中有现代数字信号处理理论及实践的创始人和先驱者Nyguist和Hammi

ng博士。1956年之后，香农博士虽然被聘为著名的麻省理工学院的教授，但一直与贝尔实

验室保持着密切联系。

1948年6月和10月，由贝尔实验室出版的科技界著名杂志“贝尔系统技术（Bell System T

ech）”连载了香农博士的文章———“通讯的数学原理”（A mathematica lTheory of

Communication）”，从而奠定了信息基本理论的基础。在这篇文章中，他首先严格定义了

信息的位———“熵”（音同商）的概念。在此基础上，他又定义了信道容量的概念，并

给出在不同噪音情况下无失真通信的极限传输速率。这些贡献对今天的通信工业具有革命

性的影响。

下面，我们将通过简单的例子说明这两个现代通信中最基本的概念和原理。“熵”的概念

起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在于，利用概率分布的

理论给出“熵”的严格定义。根据香农的定义，确定发生的事件如“太阳从东边升起”与

确定不发生的事件如“太阳从西边升起”，其熵都是零。

下面用一个简单的游戏来说明这个概念及其应用。设有甲、乙两人玩猜谜游戏，甲先想好

一个人或物的名字，写在纸上，藏于盒中。乙问甲有关纸上内容的一系列问题，例如“

是人还是物？”、“是男人还是女人？”、“是不是张三？”……甲仅回答是或否。乙试

图用最少数目的提问就猜出甲所写的人或物的名称。现在的问题是，乙如何最为有效地设

计他（她）的提问？根据熵的概念，问题所分割的事物应该尽量有相同的概率，也就是说

，答案为“是”和“否”的概率应尽量相同，这样乙才能获得最大的信息量。然后，乙方

再根据对方的答案，设计新的问题，逐步缩小搜索范围。所以说，我们上面列举的前两个

提问都是比较好的，而第三个提问（“是不是张三？”）就不是提问开始时应该问的问题

。在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了一个

公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为

达到无失真通讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围干扰严重

的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。

如今，这两个原理现在已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的信

息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损

压缩的标准和极限。

与很多伟人一样，香农有着极其广泛的爱好。他是最早致力于研究电动老鼠钻迷宫和自动

下象棋机器的科学家。正如他自己所说的：“我总是奇怪事物是怎样拼在一起的？”正是

这种好奇心驱使他不断地思考和创新。他非常幸运地在年仅25岁时就被当时的贝尔实验室

数学部主任T．L．Fry看中，从而在这个世界一流的学术环境里成长，这是他成功的一个

关键。另一方面，贝尔实验室秉承了从古希腊亚里士多德的学院派到中世纪文艺复兴时代

西方现代文明的传统，不断为科学家们创造着开放式的兼容并包的自由学术气氛，这也是

香农得以做出这一划时代贡献的重要原因。

两年以前，贝尔实验室已开始塑造香农博士的塑像。他的塑像将与电话的发明人贝尔的塑

像一起耸立在贝尔实验室大厅入口处供人瞻仰。他的事迹已经载入贝尔实验室的展览厅中

，和数十名贝尔实验室所培养的世界一流大科学家们的事迹一起供人学习。他们之中有

十一名诺贝尔奖获得者，包括两名华人诺贝尔奖获得者崔琦和朱棣文。也有各种国际工商

界大奖的获得者，包括UNIX操作系统和C语言的发明者。展览中囊括了贝尔实验室在各个时

期的重要发明，如第一台传真机、按键电话、数字调制解调器、蜂窝电话、通信卫星、高

速无线数据系统、太阳能电池、电荷耦合器件、数字信号处理器、单芯片、激光器和光纤

、光放大器、密集波分复用系统、首次长途电视传输、高清晰度电视。在如此众多的发明

之中，展览会突出的信息时代的两项最重要发明就是晶体管和信息论，而香农博士正是信

息论之父。

1998年，在香农还在世但已患老年痴呆症的情况下，国际电子工程师学会（IEEE）举行了

隆重的大会以纪念他的理论发表五十周年。来自世界各地的数百名顶尖科学家们对他表示

了深深的敬意。和世界各地一样，中国的科研工作者也很早就注意到香农的工作。北京大

学的江泽培教授在五十年代就翻译了有关香农理论的小册子；南开大学的胡国定教授更是

身体力行地建立了中国信息论的研究中心。

贝尔实验室正因为拥有诸多象香农这样的伟大科学家而享誉世界。尽管，朗讯科技与其他

高科技公司一样在发展过程中经历着起伏，但对于其创新机构———贝尔实验室研究部—

——的支持和保护却始终不变。正是这种支持使贝尔实验室能够为科研人员提供一个稳定

健康的研究环境，为培养像香农这样的科学家奠定了基础。目前，贝尔实验室已在世界多

个国家设立了研究机构，它的中国研究院在成立不到一年的时间里，已经和中国广大科研

工作者建立了良好的合作关系，并在自身的研究领域中取得了可喜的进展。贝尔实验室基

础科学研究院（中国）将谨守其对于中国的承诺，继续履行其在中国的使命。研究院与中
国科技教育界的合作不变；研究院在科研资金上的投入将比去年同期有大幅度增长；研究

院的规模及涉及的研究领域也将不断扩展。

在中国，从孔夫子的教育思想，春秋时代的百家争鸣，到五四运动时期科学与民主的精神

，以及北京大学蔡元培先生所提倡的兼容并包的办学方针，都有很多优秀的思想值得
借鉴。我们在深切怀念香农博士的同时，也祝愿贝尔实验室在中国的研究机构能结合古今

中外的优秀学术思想，持续地发展，不断地壮大，成为世界一流的研究机构

※ 来源:．一网深情 http://bbs.uestc.edu.cn

追忆信息论之父－香农博士相关推荐

技术前沿与经典文章10：信息论之父香农，20世纪伟大的科学家，一个理论改变了一个时代
一.信息论的奠基之作 1687年7月5日,牛顿的<自然哲学的数学原理>首次出版发行,引爆了整个学术圈,从此奠定了他的江湖地位,而这本书也奠定了现代科学的范式. 1948年,香农发表了一篇英 ...
香农费诺编码 c语言实现,信息论课程设计(香农、费诺编码)
<信息论课程设计(香农.费诺编码)>由会员分享,可在线阅读,更多相关<信息论课程设计(香农.费诺编码)(34页珍藏版)>请在人人文库网上搜索. 1.华北科技学院信息论基础课程设 ...
信息论与编码|香农编码的Matlab实现
1. 香农编码原理 (1)将信源消息符号按其出现的概率大小依次降序排列为: (2)对概率向上取整求整数码长K (3)为了编成唯一可译码,计算第i个消息的累加概率P (4)将累加概率转换成二进制数 (5 ...
他用“1 和 0”解决了人类两大难题，他是信息论之父，却渴望做“杂耍博士”...
"The best is yet to come. We've only scratched the surface. Computers can only do what we tell ...
数字通信介绍（2）香农与信息论
原文地址:http://blog.sciencenet.cn/home.php?mod=space&do=blog&id=275997 上个世纪四十年代,半导体三极管还未发明,电子计算 ...
后香农时代，华为提出10大数学挑战问题
来源:机器之心编辑:杜伟后香农时代的通信技术会如何发展?又有哪些值得业界关注的数学问题呢?在上月底结束的长沙「数学促进企业创新发展论坛」上,华为董事.战略研究院院长徐文伟抛出了后香农时代信息产业发 ...
香农的贡献及其对后世的影响
转载一篇纪念香农的文章,此公是我人生中的灯塔. 香农的贡献及其对后世的影响 Claude E. Shannon: His Work and Impact 张卫国,高新波,蒋洪波关键词:香农:信息论: ...
【历史上的今天】3 月 18 日：香农发表划时代论文；微软发布 IE5；早期计算设备先驱出生
整理 | 王启隆透过「历史上的今天」,从过去看未来,从现在亦可以改变未来. 今天是 2022 年 3 月 18 日,在 19 年前的今天,2003 年 3 月 18 日,第一台便携式计算机的发明者亚 ...
香农 | 流行潮（bandwagon）
[编者按:面对当前的Chatgpt热潮,该如何看待呢?英语当中有种说法叫 jump on the bandwagon,意为跟风随大流.60多年前,当信息论的发展进入越来越多的领域,一向低调的香农在&l ...
香农定律和奈奎斯特准则
(1)信道容量与香农定理(Shannon Theroy) 我们常常会遇到这样的问题:我的信道上到底可以传输多大的数据,或者指定的信道上的极限传输率是多少.这就是信道容量的问题.例如在xDSL系统中,我 ...

追忆信息论之父－香农博士

追忆信息论之父－香农博士相关推荐

最新文章

热门文章