学会重构与对比 ——码农鼻祖天才香农

我不仅仅满足于向这台大脑里输入数据，还希望把文化的东西灌输进去。

—— 克劳德·香农

1948年，一篇名为《通信的数学原理》的论文发表，这可能是20世纪最负盛名的论文之一，迄今被引用已突破11万次。

106年前的今天，天才香农诞生，以一己之力将通信问题从物理领域抽象出来，发现了可以利用概率对信息交流的关键原理——不确定性建模， 将一门工程领域的艺术问题变成可度量可控的科学。

克劳德·香农 Claude Shannon

(1916 年 4 月 30 — 2001年2月24日）

通信是否存在大统一的理论？

106年的今天，信息时代的奠基者，信息理论的创始人克劳德·香农诞生。他是一名美国数学家、电子工程师和密码学家。

在香农之前，通信问题被看作是一个工程问题——关于确定性的信号重构，即如何变换被物理介质扭曲的接收信号，以尽可能准确地重建原始信号。

香农天才地发现了信息交流的关键在于不确定性，从而将一个艺术性的工程问题变成了一门可度量的科学问题。

在不确定性和概率的框架下，香农在他的里程碑式的论文中系统地确定了通信的基本理论。

香农的模型包含了两个关键的见解：从需要设计的通信系统中隔离信息和噪声源，以及对这两个源进行概率建模。

发射器将信号好编码成信号，信号被噪声破坏，然后由接收器解码。

The best is yet to come .

We have only scratched the surface,

computers can only do what we tell them now ,

but it will be different in the future .

—— Claude Shannon

天才怎样进行思考

在被问到天才有什么特质时，香农说了一个图灵告诉他的类比，图灵由自己观察到的现象做推断，告诉香农：“ 有些人，你告诉他一个点子，他能回你半个点子；还有些人，你告诉他一个点子，他能回你两个点子。”

香农实际上想说的是，要想有好点子，就要善于增加每次输入的精华。如果没有领悟好点子的本质，最终想法可能就会变得平庸。只有越触及问题的本质，得出真知灼见的概率才越大。

一，【0】和【1】与【真】和【假】

《继电器与开关电路的符号分析》，香农将布尔代数的数学学科应用于开关电路的分析和合成——布尔代数的【真】和【假】与电路系统的【开】和【关】对应起来，用【0】和【1】表示。

这是变革型的工作，也是数字电路设计的起点。

香农告诉我们，这个世界所有的信息都可以用0和1来表示。

人类从工业时代进入了信息时代。

二，信息的性质 VS 【反直觉】的比特

信息论举世之作 ——《通信的数学原理》

“ 信息是什么？信息的多少到底如何度量？”香农创造性地采用概率论的方法来研究通信中的问题。

香农在他的论文《通信的数学原理》中，描述了创造性地采用概率论的方法研究通信问题的思路。通过把通信的基本问题归结为通信的一方能以一定的概率复现另一方发出的消息，并针对这一基本问题对信息给予科学的定量描述，第一次提出了信息熵的概念。

此外，香农还定义了信源、编码、信道、译码、信宿等概念，建立了通信系统的数学模型，这就是著名的香农模型，并得出了信源编码定理和信道编码定理。

他的定理导致了一些违反直觉的结论。

A、事实上，熵的概念可以作为压缩的基本极限。

—— 香农发明了新的数学来描述通信定律，引入了新的思想，如概率模型的熵率。

B、比特可以作为信息的通用货币统治世界。

—— 香农研究的是传播理论，但实际上同时也是一种关于信息如何产生和传递的理论，从而开创了信息论。

所有的问题都有自己的形式。在香农完美解决各领域的核心问题之前，他告诉着我们：先理解问题本身。

寻找答案当然很重要，但提问本身是有方法的，提出能解答、有答案的问题也很重要。

TIPS：学会重构和对比

从香农写信给导师万尼瓦尔·布什，在思考通信是否存在大统一的理论问题时，他想到了用于情报传递的一般系统的基本特性二者之间的关联；到转行去研究遗传学，将遗传学和数学结合，写出博文《理论遗传学的代数学》；再顺便跨界到密码学领域，帮助加密丘吉尔和罗斯福的越洋会议内容...

香农曾在Bells Labs上发表演讲，讲解自己思考的过程，详细提到自己在需要解决的问题面前，是怎样让思考过程更具创意的。

除了找出问题的核心，他还提到了创意型思考。

联系逻辑可以不那么严密，甚至看上去会像巧合，但是这些“神奇的错位“，能给新型的思维方式创造空间！

在具体使用时可以重构问题，做对比，联想，可以夸张、缩短问题的文字、转换问的角度...

这个问题最好的解决方法是什么？

最坏的解决方法是什么？

每个输入的信息都可以找到它的本质。

—— 既需要批判性思考，也需要创意思维。

回顾香农辉煌的一生，年轻时开始在世界上被逐渐推崇，成为美国科学院和工程院院士，到获得各大国内国际荣誉奖项...

学会重构与对比 ——码农鼻祖天才香农相关推荐

香农码字matlab,香农--费诺编码的matlab实现
香农--费诺编码的matlab实现信息论与编码实验香农 --费诺编码的 matlab 实现学院:------班级:-----姓名:----学号:----摘要:用预先规定的方法将文 ...
香农信道容量公式(香农限)
香农编码与Huffman编码之间的对比
目录一.[上机目的] 二.[环境] 三.[上机原理] 四．[上机内容] 五.设计思路 5.1霍夫曼编码特点 5.2霍夫曼编码原理 5.3二进制哈夫曼编码过程 5.4计算结果 5.5霍夫曼编码的MAT ...
贝叶斯、香农、奥卡姆合写博客「机器学习是什么」
贝叶斯.香农.奥卡姆合写博客「机器学习是什么」 https://www.cnblogs.com/DicksonJYL/p/9698362.html 作者:Tirthajyoti Sarkar 来源:T ...
非香农类信息不等式_信息论——Kraft不等式以及变长编码定理
上次介绍了香农无损编码定理以及一些不同类别的编码.这次介绍kraft不等式以及huffman编码,并且说明霍夫曼编码的最优性. Kraft不等式为前缀码约束条件.在前缀码中,显然不能使用所有的最短的码 ...
实验三-香农编码的MATLAB实现
信息论编码实验3~9连载,更多看专栏. 香农编码仿真实现一.香农编码的原理二.香农编码实例三.程序及流程图四.程序运行结果五.程序自评价一.香农编码的原理香农码严格意义上来说不是最佳码, ...
计算机网络TCP/IP：物理层（信道，调制，香农极限，信道复用技术，宽带接入技术）
物理层是什么? 物理层是TCP/IP协议的最底层,但并不意味着这一层是实体,不是指具体的传输媒体,物理层要尽可能的屏蔽掉不同传输媒体和通信手段的差异,为它的上层提供数据通讯服务数据通信的基础知识信 ...
香农三大定律与奈奎斯特定理
Table of Contents 香农三大定理香农第一定理(可变长无失真信源编码定理) 香农第二定理(有噪信道编码定理) 香农第三定理(保失真度准则下的有失真信源编码定理) 何为香农定理奈奎斯特 ...
【计算机网络】——奈氏准则与香农公式，它们之间到底有何区别？
任何信道在传输信号时,会产生各种失真以及带来多种干扰,码元传输的速率越高,或信号传输的距离越远,或传输媒体质量越差,在信道的输出端的波形的失真就越严重从概念上讲,限制码元在信道上传输速率的因素有两个 ...

学会重构与对比 ——码农鼻祖天才香农

学会重构与对比 ——码农鼻祖天才香农相关推荐

最新文章

热门文章