来源：人机与认知实验室

【本文是鲁晨光老师发表的一篇关于语义信息论和统计学习的论文写后感，发表在科学网上，特摘录推荐】

2019-8-21 01:04 |个人分类:信息的数学和哲学|系统分类:论文交流| 信息论, 语义信息, 机器学习, 归纳, 科学哲学

这是我近五年研究的总结， 也基于我以前的研究结果。

发表的期刊是：

Information：https://www.mdpi.com/journal/information

文章是：

https://www.mdpi.com/2078-2489/10/8/261

英文open access 期刊， 不限长度。 我用的方法——语义信息方法——与众不同， Information正好适合我。同行评论要过两关，要老实按reviewers要求，逐条回应。以前不知道，吃过大亏。

西方研究语义信息论的名人Luciano Floridi和Wolfgang Johannsen也在上面发表过文章。

Flridi还是Information中Information Theory and Methodology Section的编委。

现在可以让大家比较了。

文章有30多页。我很开心，等于发表了四篇。我以前发表的一篇英文也是很长的http://www.survivor99.com/lcg/english/information/GIT/index.htm ，40多页。好像短的反而难发表——只发表过会议。可能新东西不全面就很难让人理解。

我的文章中，背景包含两个部分：

1.从Shannon信息论到语义信息G理论, 也谈及其他人的语义信息理论（包括Floridi和钟义信教授的）；

2.从传统的贝叶斯预测到逻辑贝叶斯推理， 主要是对贝叶斯推理(Bayesian Inference)的挑战。

方法包含我独创的4个信道匹配算法：

1.语义信道匹配香农信道，求解多标签学习函数——隶属函数——的简单方法。但是最重要的应用是求解if-then叙述的确证度。

2. 两个信道相互匹配：求解多标签分类；比流行的方法简便很多。

3. 重复两个信道相互匹配，迭代算法， 求解最大互信息分类。根据特征求解最大互信息分类或估计，这可是Shannon信息论和经典信息论留下的难题。

4. 两个信道相互匹配，通过求解最大通信效率G/R, 求解混合模型. 顺便证明EM算法所依据的混合模型理论是错的。

文中提供了不少例子；补充存料还提供了这些算法的Python 3.6程序。读书我自己编的。方法应用迫使我学习Python编程。幸亏我是老程序员。

对于机器学习，2,3用于分类是很实用的； 难度最大的是求解混合模型，特别是证明迭代收敛。 但是最有理论意义的是提供新的确证度b*.

归纳问题由来已久。由于绝对正确的全称假设的归纳被否定，归纳问题演变为求不完全正确假设的归纳问题——即确证度计算问题。证伪主义者Popper也曾试图解决这一问题。早期逻辑贝叶斯主义者凯恩斯和卡尔纳普企图用逻辑概率或条件逻辑概率（在0和1之间变化）表示确证度，但是现代归纳主义者大多用可信度或归纳支持度（在-1和1之间变化）表示确证度（见这里http://www.fitelson.org/probability/comp.pdf ）。

我的确证度也在-1和1之间，但是和流行的确证度不同， 流行的确证度主要取决于正例是否多，而我的确证度b*主要取决于反例是否少——这就兼容Popper的证伪思想。要让大家信服， 还需要继续努力。

我相信我的确证度公式迟早会被大多数人接受，不过其命运可能就像我的色觉模型（http://blog.sciencenet.cn/home.php?mod=space&uid=2056&do=blog&id=1160412）。

徐匡迪院士呼吁研究算法：

http://www.sohu.com/a/312151330_680938

我的努力就是。但是这样的文章在还真不容易再国内期刊发表。我的最大互信息分类文章就再三被拒绝。不知道审稿人是否知道：Shannon及后来者至今无法解决这一问题！这应该是信息论王冠上的钻石啊！

一个中文初稿见：

http://www.survivor99.com/lcg/CM/Homepage-NewFrame.pdf

关于语义信息论和统计学习的更多讨论见：http://www.survivor99.com/lcg/books/GIT/

欢迎交流。

张亚勤、刘慈欣、周鸿祎、王飞跃、约翰.翰兹联合推荐

这是一部力图破解21世纪前沿科技大爆发背后的规律与秘密，深度解读数十亿群体智能与数百亿机器智能如何经过50年形成互联网大脑模型，详细阐述互联网大脑为代表的超级智能如何深刻影响人类社会、产业与科技未来的最新著作。

《崛起的超级智能;互联网大脑如何影响科技未来》2019年7月中信出版社出版。刘锋著。了解详情请点击：【新书】崛起的超级智能：互联网大脑如何影响科技未来

未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能，互联网和脑科学交叉研究机构。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”