【编者按:面对当前的Chatgpt热潮,该如何看待呢?英语当中有种说法叫 jump on the bandwagon,意为跟风随大流。60多年前,当信息论的发展进入越来越多的领域,一向低调的香农在《流行潮》(The Bandwagon)写了一篇文章说:“(信息理论)的重要性可能被吹得脱离实际。我们许多不同领域的科学同行,受到(该理论)鼓吹并被这一科学分析的新的开放式大道所吸引,将这些概念用于研究自己的问题……当他们意识到信息、熵、冗余这些令人兴奋的语词解决不了问题时,这种人为的繁荣光景便会在一夜间凋零。”

60多年后的今天,香农的信息论已经成为计算机科学的基石,而社会对于计算机的关注有增无减。计算机科学的“繁荣光景”不仅没有凋零,反而反哺了各行各业,使得产业模式和社会形态完成进一步升级。许多传统学科搭乘计算机科学发展的快车,摇身一变成为了新兴学科、交叉学科。

所以 jump on the bandwagon 不一定是一件坏事,恰恰相反,所谓 bandwagon 是大众群体智慧筛选出的好东西。下一个十年,bandwagon 又在何处呢?】

克劳德·艾尔伍德·香农

在过去的几年里,信息论已经成为一种科学潮流。从通信工程师的技术工具开始,它在大众以及科学出版社之间获得了非凡的欢迎。在某种程度上,这是由于与计算机、控制论和自动化等时尚领域的联系;另一部分原因是其主题的新颖性。因此,它可能已经被膨胀到一个超越其实际成就的重要地位。我们许多不同领域的科学家同行,被它大张旗鼓的吸引过来,试图在自己研究的问题中使用信息论的想法,为科学分析开辟的新途径,应用于生物学,心理学,语言学,基础物理学,经济学,理论组织等等。简而言之,信息论目前正在参与某种大众流行的令人陶醉的气流。

虽然信息论掀起的热潮对于我们研究该领域的人来说是一件值得激动和预约的事情,

它同时带有危险的元素。虽然我们认为信息论确实是一个可以为通信问题提供基本见解的宝贵工具,而且它的重要性也在与日俱增,当然它也不是通信工程师或其他任何人的灵丹妙药。它很少同时为一些超自然的秘密让位。这导致我们很容易对于信息论这样人为的繁荣一夜之间崩溃,意识到使用像信息、熵、冗余这样几个令人兴奋的词并不能解决我们所有的问题。

对于这种情况,我们可以做些什么使用信息论的限制说明?首先,其他领域的研究人员应该意识到,信息论这门学科的基本结果针对一个非常具体的方向,一个不一定与心理学、经济学和其他社会学等领域必然相关的方向。的确,信息论的核心本质上是数学的一个分支,严格来说是一个演绎系统。透彻地了解数学基础及其通信应用程序肯定是其他应用程序的先决条件。我个人认为很多概念的信息论将证明在这些其他方面有用领域——事实上,一些结果已经被验证相当不错。但建立此类应用程序并不是像将单词翻译成新的领域中一样的小事,而是缓慢乏味的过程,需要通过大量的假设和实验验证。例如,如果人类在某些情况下表现得像一个理想的解码器,这是一个实验性的,而不是一个数学事实,因此必须在各种各样的实验情况。

其次,我们必须保持自身的立场位于第一次序。信息论的主题肯定被大肆使用了,如果不是过度使用的话,我们的注意力现在应该转向在我们可以维持的最高科学水平上,进行研究与发展。研究而不是阐述是关键,而且我们的关键门槛应该提高。作者们应该只提交他们最大的努力结果,而这些只有是经过自己和同事的仔细批评得到的。相比于大量构思不佳或半成品的论文,最好是一些一流的研究论文。前者并不是作家的功劳,而且对他们的读者来说是浪费时间。只有通过维护彻底科学的态度才能实现真正的传播理论进展与巩固我们目前的立场。

香农 —— 一举成名天下知

刘 钢

香农不是一位爱张扬的人。由于不爱张扬,他甚至表现出某种内向而没有自信似得。譬如说,从他的论文《通信的数学理论》这篇著名文章的标题就可以看出,他用的是不定冠词“A”。这就意味着还可能有其他的类似理论,他的理论只不过是其中之一罢了。而且,他的文章也没发表在像《科学》和《自然》那些刊物。而是发表在一份内部出版物上,就像一篇研究报告。当然,1948年香农也不过才32岁。美国学界也论资排辈,可以把他的不自信看作是有自知之明吧。

香农的文章发表了,可读懂的人却不多。这也使文章得不到评价。正在这种尴尬的时刻,韦弗看到该文的价值。这位大人物的一句话就把香农抬了起来,说香农的地位就像吉布斯(W. Gibbs, 1839-1903)之于物理化学。吉布斯是热力学和统计力学的奠基人之一,曾被爱因斯坦誉为“美国历史上最杰出的英才”。杨振宁于1997年为《科学文化》杂志写了一篇题为“美与物理学”的文章。他说:“十九世纪物理学的三项最高成就是热力学、电磁学与统计力学。其中统计力学奠基于麦克斯韦(J. Maxwell , 1831-1879)、玻耳兹曼(L. Boltzmann , 1844-1905)与吉布斯的工作。”

还是韦弗经验老道,能看出香农文章的意义。于是他亲自在《科学美国人》这本比较高级的科学传播的刊物上撰文,用不那么专业的语言向大众推介香农的工作。1949年,韦弗还将他写的那篇文章与香农的那篇合并在一起,写了《通信的数学原理》。韦弗出面了,自然是要把标题的不定冠词“A”改成定冠词“The”。别小看这一改动,韦弗认为香农的理论是只此一家,别无分店!于是香农的工作在社会上就逐渐产生了影响。这才开始有人对香农的工作进行评论。

香农的这篇论文,奠定了信息科学和信息哲学的基础。香农和韦弗的小册子1949年出版。数学家杜步(J. L. Doobe)为其撰写了第一篇书评。杜步在书评中对该书颇表不满,他认为:“作者运用数学的动机并不总是那么正大光明。” 整个讨论的“暗示”多于数学推导。还有一份来自生物学的期刊评论道:“初看起来,这主要是本工程学专著,对于解决人类实际问题用处不大,或甚至跟本没用。但事实上,该理论具有许多当今令人振奋的意蕴。”《哲学评论》称,哲学家不应忽视这本书 “香农提出了一个‘信息’的概念,并且令人惊讶的是,信息这个概念竟然是热力学中‘熵’的延伸。”在1940年代末,香农的工作并未完全被视为科学理论。

终于让维纳(N. Wiener)坐不住了。他在《物理评论》写了篇很难算得上是书评的话。开篇维纳倚老卖老地说:“大约15年前,一名非常聪明的年轻学生向麻省理工学院的教授提出了自己的一个设想,试图建立一种基于逻辑代数的电动开关的理论,这名学生就是香农。”当年香农在MIT读硕士时,曾经上过维纳的课。所以维纳可以说是香农的老师之一。但香农的硕士导师却是希齐柯克(F. L. Hitchcock)。

维纳比香农大22岁,也算是神童。紧接着,维纳说香农与韦弗的小册子“总结了他对于通信工程的见解。”原来香农的工作不过是对他的工作进行了总结。实际上这二位的工作不一样,维纳强调的是“反馈”,而且涉及面很广。但香农的工作却只涉及通信这一项。维纳认为,香农提出的基本见解是“把信息量视为负熵”,可却立即补充道,他自己也几乎在同一时间产生了相同的见解。不过维纳还是承认,他们之间的工作是相互独立的。

维纳于1948年出版了他的奇书《控制论——关于动物和机器中控制和通讯的科学》维纳还指出,香农对于语言的讨论没有给予语言在人类神经系统内的通信过程以更多重视。毕竟是同行,难免有些醋味,“我这样说并不是为了吹毛求疵。”最后维纳用了一大段文字介绍了自己的《控制论》:

而在我的书中,作为作者,我有幸从更思辨的角度,讨论比香农和韦弗博士所选的更广阔的话题。我希望重申,在一个新领域……不仅有空间,而且也确实需要种种在现实性或思辨性上各具特色的著作。

香农对维纳的这种不低调做人的态度也很不以为然。此前,香农在《无线电工程师学会学刊》上针对维纳的《控制论》写过一篇短评,虽是赞赏,可程度却很一般,认为该书是一本“出色的导论”。这一老一少的关系有点儿紧张,韦弗似乎也预测到维纳会对香农发难,所以在《通信的数学理论》中开篇就有一大段脚注:

香农博士强调,他的通信理论在基础哲学原理方面颇多受益于维纳教授。另一方面,维纳教授也指出,香农在开关和数理逻辑方面的许多早期研究是在他对该领域产生兴趣之前,并且他大度地补充道,引入熵的思想,将之作为该理论的基本思想,确实是香农一个人的功劳。

事情果真如维纳所言“把熵理解为负熵”是他与香农相互独立的见解吗?香农的同事皮尔斯后来说,“那时维纳满脑子沉浸在自己研究……知道底细的人告诉我,维纳误以为自己早已得出了香农所得到的结论,但其实他从来都没有得出过。”从1940年香农拿到硕士起,他花了整整8年时间,为通信系统建立了一整套数学理论。这篇划时代的论文至今仍在指引和启迪后人的研究工作,而且在越来越多的领域展现出意想不到的成就。

香农在1949年可谓名利双收。除与韦弗发表了《通信的数学理论》外,还与贝尔实验室的贝蒂·摩尔(Betty Moore)结婚。韦弗认为香农的工作外延还可以继续扩大,可是香农又是个保守的人。韦弗似乎与香农意见不完全一致,在香农工作的基础上开始研究信息的哲学问题。有了韦弗的登高一呼,后面的人自然也就蜂拥而上。

哲学家和语言学家们终于找到可供交流的术语体系。其中俄裔美籍语言学家雅各布森(Roman Jakobson,1896—1982)尤甚。如何让信息论这个数学理论让人文学者理解并应用呢?雅各布森是布拉格结构主义语言学派的代表人物。他将结构主义语言学奠基人索绪尔的理论拿了出来。用人们能听得懂的术语描述信息论的数学模型。

雅各布森将信息论的思想融入自己的理论,并建立一套独立的词典。他用“代码”和“消息”替代索绪尔提出的“语言”和“言语”;用“子代码”替代“文体”;用“冗余特征”替代“语境变体”;用“编码”和“解码”替代“产物”和“理解”;用“编码者”和“解码者”替代“言者”和“听者”。他又接着香农的信息论,彻底消除了人机间的差别。将“信源”和“传输者”合并为“发信人”;类似地将“信宿”和“目的地”合并为“收信人”。他用“代码”建立起消息和意义间的联系,这一点不同于香农,香农是认为消息和信息之间有联系,与意义无关。而这一点又非常重要,是自然科学与人文社会科学的防火墙。所以有的时候,术语的表达不能越界。雅克布森采用“联系”这一概念表示心理学上的通讯或交流。最终将“信息”替代为消息的含义,或语境。把意义带入信息后,雅各布森建立起自己的语言学中沟通的新模型。不能不说,雅各布森是成功的。他将信息论的范围扩大,从而打开了潘多拉的盒子。

在我看来,就是雅各布森的理论将信息论的防火墙破坏掉了才导致这种结果。香农是这里面最为保守的一位学者。他曾反复强调他的信息概念与通讯的语义学方面不存在任何联系。当他用到信息熵这个术语时,对当时热力学还不大清楚熵是什么的时候,一直犹豫不定。最后是香农的忘年交冯诺依曼鼓励香农大胆采用“熵”这个术语,才有了香农著名的信息熵的公式。

当信息论进入越来越多的领域时,引起了香农的不安。他于1956年在《流行潮》(The Bandwagon)写了一篇文章说:“(信息理论)的重要性可能被吹得脱离实际。我们许多不同领域的科学同行,受到(该理论)鼓吹并被这一科学分析的新的开放式大道所吸引,将这些概念用于研究自己的问题……当他们意识到信息、熵、冗余这些令人兴奋的语词解决不了问题时,这种人为的繁荣光景便会在一夜间凋零。”可又有谁听香农的?不仅如此还说香农心胸狭隘,后来香农干脆不露面,也不再谈论他的理论了。

……1970年代以来,控制论和系统论发展趋于统一,很多学者认为它们已经综合为具有一般方法论意义的统一的横断学科,它们的基础便是信息论。

-----------------------------------------------------------------

1948年10月香农的论文《A Mathematical Theory of Communication》(通信的数学理论)成为现代信息论研究的开端。在该文中,香农给出了信息熵(以下简称为“熵”)的定义,这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽,熵度量的是消息中所含的信息量。实际上,信息熵完成的是信息数量多少的度量,而对于(不同发出/接收者)信息质量的好坏还没有度量

如何在人机系统中建立起包含信息价值质量的新理论呢?

请看人机融合三部曲:

香农 | 流行潮(bandwagon)相关推荐

  1. 张亚勤:深度学习更近一步,如何突破香农、冯诺依曼和摩尔瓶颈?

    来源:机器之心 本文约3100字,建议阅读6分钟 本文为你分享张亚勤在2020 CEO 年会上演讲<未来科技趋势展望>. 近日,在联想创投 2020 CEO 年会上,清华大学讲席教授.智能 ...

  2. 香农说,要有熵。信息时代由此开启……

    2016年四月三十日是克劳德·艾尔伍德·香农(Claude Elwood Shannon)的一百周年诞辰.虽然香农被学术届尊为信息时代之父,听说过这位科学巨人名字的想必比知道宋仲基的人少得多.不过不管 ...

  3. 当贝叶斯,奥卡姆和香农一起来定义机器学习

    来源:数学中国 [导读]当贝叶斯.奥卡姆和香农一起给机器学习下定义,将统计学.信息理论和自然哲学的一些核心概念结合起来,我们便会会发现,可以对监督机器学习的基本限制和目标进行深刻而简洁的描述. 令人有 ...

  4. 非香农类信息不等式_ICLR2020|北大图灵班本科生满分论文:计算约束下有用信息的信息论...

    机器之心转载 来源: 北京大学前沿计算研究中心 作者:许逸伦 本文是第八届国际表征学习会议 (ICLR 2020) 入选口头展示论文 (oral)<基于计算约束下的有用信息的信息论 (A The ...

  5. 自然语言处理起源:马尔科夫和香农的语言建模实验

    语言建模和文本生成是当下自然语言处理领域非常火热的两个研究课题.而早在百年以前,科学巨匠马尔科夫和香农就对此进行了初步的探索...... 选自towardsdatascience,作者:Raimi K ...

  6. 贝叶斯、香农、奥卡姆合写博客「机器学习是什么」

    贝叶斯.香农.奥卡姆合写博客「机器学习是什么」 https://www.cnblogs.com/DicksonJYL/p/9698362.html 作者:Tirthajyoti Sarkar 来源:T ...

  7. 后香农时代,华为提出10大数学挑战问题

    来源:机器之心 编辑:杜伟 后香农时代的通信技术会如何发展?又有哪些值得业界关注的数学问题呢?在上月底结束的长沙「数学促进企业创新发展论坛」上,华为董事.战略研究院院长徐文伟抛出了后香农时代信息产业发 ...

  8. 华为徐文伟:后香农时代,面向数学的十大挑战问题

    本文为2020年8月28日徐文伟在长沙由中国工业与应用数学学会举办的"数学促进企业创新发展论坛"上的发言 来源:中国科学院院刊 徐文伟 华为技术有限公司董事,华为战略研究院院长 后 ...

  9. 数字通信介绍(2)香农与信息论

    原文地址:http://blog.sciencenet.cn/home.php?mod=space&do=blog&id=275997 上个世纪四十年代,半导体三极管还未发明,电子计算 ...

最新文章

  1. Zookeeper知识汇总
  2. 不懂业务创新的工程师,不是好的架构师 | 深度
  3. AndroidManifest.xml中Activity ConfigChanges属性的用法
  4. 进程内存信息 /proc/[pid]/maps /proc/[pid]/smaps /proc/[pid]/status
  5. SYBASE的管理(三)
  6. 【Flink】Class class org.apache.flink.types.Row cannot be used as a POJO type because not all fields a
  7. Java面向对象:对象的概念及面向对象的三个基本特征
  8. PHP curl请求https
  9. 集体智慧编程--优化
  10. 什么是决策!决策的定义!决策的本质!大数据决策定义!
  11. 一款不错的远程控制软件,还是绿色版哦
  12. Python开发款短链生成器,来满足我的需求!
  13. mysql中文排序(按照中文拼音顺序排序)
  14. SE-NET效果测试
  15. STM32 单片机字符串生成二维码显示
  16. 160个CrackMe 077 firework2
  17. 项目“爱心雨伞”构建(一)
  18. 成都百知教育:做Shopee店铺没有方向,这3大层级必须理清!
  19. 【Oauth2】SpringBoot整合Oauth2实现认证授权
  20. spf打包解包_2020最新CentOS(linux下)安装7-Zip(7za压缩软件)以及解压命令,只打包不压缩,加密的方法...

热门文章

  1. 人类发现外星人信号?别开玩笑了
  2. 在我有限的软件测试经历里,一段专职的自动化测试经验总结
  3. 胡玮炜卸任摩拜CEO:称完成阶段性使命 刘禹接任
  4. android color详解
  5. 分享工作中让你有强烈情绪波动的事情
  6. MySQL数据库实验六 简单数据库应用系统设计与实现
  7. trick:CSS 3+checkbox实现JQuery的6个基本动画效果
  8. Firefox火狐浏览器功能介绍
  9. MD5验证文件完整性 C++
  10. spring aop 中切面表达式规则