终极算法——第三章：符号学派：休谟的归纳问题

本文为阅读总结个人认为书里概念性的、对本人有帮助的内容，仅供参考。

你是理性主义者还是经验主义者？

理性主义者认为，感官会欺骗人，而逻辑推理是通往知识的唯一可靠的道路。经验主义者认为所有推理都不可靠，知识必须来源于观察及实验。

为了得出符合逻辑的论断，休谟借用了洛克开创的经验主义思想，并提出一个问题，这个问题在所有领域的知识中就像一把达摩克利斯之剑，从最琐碎的领域到最先进的领域，都是一个时刻存在的问题：在概括我们见过的东西以及没见过的东西时，怎样才能做到合理？从某种意义上说，每种学习算法都在尝试回答这个问题。

没有免费午餐定理(No Free Lunch，简称NFL)是wolpert和Macerday提出的“最优化理论的发展”之一。这是最优化理论的发展之一。该定理的结论是，由于对所有可能函数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚。

1）对所有可能的的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值相同；

2）对任意固定的训练集，对所有的目标函数求平均，得到的所有学习算法的“非训练集误差”的期望值也相同；

3）对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同；

4）对任意固定的训练集，对所有的先验知识求平均，得到的所有学习算法的的“非训练集误差”的期望值也相同。

NFL定理表明没有一个学习算法可以在任何领域总是产生最准确的学习器。不管采用何种学习算法，至少存在一个目标函数，能够使得随机猜测算法是更好的算法。https://baike.baidu.com/item/没有免费午餐定理/8848514?fr=aladdin

在机器学习领域，NFL的意义在于告诉机器学习从业者: 假设所有数据的分布可能性相等，当我们用任一分类做法来预测未观测到的新数据时，对于误分的预期是相同的。https://www.douban.com/note/628764344/

简而言之，NFL的定律指明，如果我们对要解决的问题一无所知且并假设其分布完全随机且平等，那么任何算法的预期性能都是相似的。https://www.douban.com/note/628764344/

NFL：当我们知道一个问题的具体假设时，那么就一定存在一个算法的预测性能优于其他算法性能；然而当我们对一个问题一无所知，且该问题的假设是在所有数据假设上等可能地分布的情况下，那么不可能存在一个最优算法。

牛顿在《自然哲学的数学原理》一书中阐述了推理的四条法则。其中第三条是关键法则：我们见过的所有真实的东西，在宇宙中也是真实的。这句话是牛顿革命以及现代科学的核心。

牛顿法则是机器学习的第一个不成文规则。我们归纳自己能力范围内、应用最广泛的规则，只有在数据的迫使下，才缩小规则的应用范围。

合取概念：conjunctive concept。

首先做有条件的假设，如果这样无法解释数据，再放松假设的条件，这就是典型的机器学习。

“分而治之”——科学家战术手册中最古老的策略。通过该方法来发现规则的创意来自理夏德·米哈尔斯基，他是波兰的以为计算机科学家。1970年移民美国之后，他和汤姆·米切尔和杰米·卡博内尔一起创立的机器学习的符号学派。

学习就意味着将细节遗忘，只记住重要的部分。计算机就是最大的白痴专家：它们可以毫无差错地将所有东西记住，但那不是我们想让它做的。

过拟合问题是机器学习中的中心问题。好的学习算法永远在无知和幻觉（过拟合）的夹缝中行走。

我们的信仰建立在自己的经历之上，这会让我们对世界的理解不完整，而且也容易过早得出错误的结论。

误差或偶然事件会让你无法找出整套规律。

当你有过多假设，而没有足够的数据将这些假设区分开来时，过拟合问题就发生了。

学习就是你拥有的数据的数量和你所做假设数量之间的较量。

对于机器学习来说，对不可见数据的测试是必不可少的，因为这是判断学习算法是否过拟合的唯一方法。

归纳仅仅是逆向演绎，就和减法是加法的逆运算，或者积分是微分的逆运算一样。

我们以越多的规则和事实作为开头，也就有越多的机会运用“逆向演绎”归纳新的规则。我们归纳的规则越多，我们能归纳的规则也就越多。这是知识创造的良性循环，只受过拟合风险和计算成本的限制。

逆向演绎的另外一个局限性就在于，它涉及很密集的计算，因此很难扩展到海量数据集中。因为这些原因，符号学家选择的算法是决策树归纳。

拥有这个属性（仅且必须选择一类）的概念被称为类集，而预测类集的算法成为分类器。

分类器是机器学习最为普遍的方式。

符号学派的核心理念就是，所有和智力相关的工作都可以归结为对符号的操纵。

心理学家大卫·马尔称，每个信息处理系统应该经过三个不同水平的研究：该系统解决所解决问题的基本属性，用来解决问题的算法和表示方法，以及这些算法和表示方法如何实现。

符号主义机器学习是人工智能知识工程学派的一个分支。

因为其起源和指导原则，符号学派和其他学派相比，和人工智能的其他方面关系更为密切。如果计算机科学是一块大陆，符号主义机器学习和知识工程学会有很长的交界线。知识通过两个方向进行交易——手动输入的知识，供学习算法使用；还有归纳得出的知识，用来加入知识库中，但最终理性主义者和经验主义者的断层线会刚好络在这条界线上，想越过这条界线则不容易。

符号主义是通往终极算法的最短路程。

尽管决策树很受欢迎，但逆向演绎是寻找主算法更好的出发点。因为逆向演绎具备这样的关键属性：可以轻易地将知识并入主算法中，而且我们指导休谟问题使这一点变得很有必要。

逆向演绎就像一个超级科学家，系统查看论据，思考可行归纳法，整理最有利的证据，然后将这些和其他论据一起，进一步提出假设——所有过程都基于计算机的速度。

逆向演绎也有一些严重的缺点。可行的归纳法数量广泛，除非我们和最初知识保持亲密关系，否则很容易在空间中迷失。逆向演绎容易被噪声迷惑：我们怎样才能知道，哪些演绎步骤被漏掉了，如果前提或者结论本身就已出错？最严重的是，真正的概念很少能通过一个规则集来定义。

联结学派对符号学派尤其不满。

终极算法

终极算法——第三章：符号学派：休谟的归纳问题相关推荐

Java算法--第三章--排序（14）概述
Java算法–第三章–排序(14)概述排序算法的总结: 一.基础排序-----算法评估等级:O(n²) 1.冒泡谁大谁上,每一轮都把最大的顶到天花板效率太低O(n2)–掌握swap 2.选择排序, ...
休谟的“归纳问题”——关于归纳方法的批判
[编者按:大家知道,绘画是视觉艺术,看不到真东西,一切都是空谈,就像一群聋子在那里谈论音乐.人机融合智能也是如此,没有最底层的反思和探索,大家只能会源木求鱼.望梅止渴] 一.普通归纳法vs 科学归纳法 ...
终极算法——第七章：类推学派：像什么就是什么
本文为阅读总结个人认为书里概念性的.对本人有帮助的内容,仅供参考. 类比式推动许多历史上最伟大科学进步的动力. 类比推理有着突出的知识谱系.亚里士多德在他的相似律中就表达了这一点:如果两个事物相似,其 ...
终极算法【7】——类推学派
类比是推动许多历史上最伟大科学进度的动力.当达尔文阅读马尔萨斯的<人口论>时,被经济和自然界中生存竞争的相似性触动,所以有了自然选择理论的诞生. 类比在机器学习中扮演重要性刚开始进展缓慢, ...
SEO优化指南与c语言,SEO终极算法：一篇文章精通SEO优化
今天是2017年9月14日,我大概是2015年7月份开始接触的SEO,如今已经有整整两年多的时间了,怎么说我也算半个老司机了.之前我也写过关于SEO优化一整套的优化流程,比如SEO终极算法系列,这一次 ...
斗地主AI算法——第三章の数据处理
上一章我们定义了基本的数据结构,相信大家看到手牌类里面那么多出牌序列时一定会比较愤慨... 其实一开始写的时候我也是觉得很脑残,不过后续开发证明了这样的结构还是可以的,因为只要我封装了一层数据转换,接 ...
啊哈算法——第三章：暴力枚举
第三章:暴力枚举枚举的思想不必多说,此处仅引数中两例. 火柴棍等式 #include <iostream> using namespace std; const int maxn = 1 ...
C语言程序设计（理论课）第二章（理解）算法和第三章数据类型及其运算
第二章算法--程序的灵魂算法+数据结构=程序数据结构对数据的描述.在程序中要指定用到哪些数据,以及这些数据的类型和数据的组织形式. 算法对操作的描述.即要求计算机进行操作的步骤. 广义的 ...
北邮22信通：（2）第三章单链表
相信有了第二章顺序表的基础,小伙伴们学习第三章链表应该会轻松一点吧目录类模板下的单链表 1.1书上干净完整代码(无增改.适合自己动手实验) 1.2对书上代码的完善和对一些问题的验证和解释代码 1. ...

终极算法——第三章：符号学派：休谟的归纳问题

终极算法——第三章：符号学派：休谟的归纳问题相关推荐

最新文章

热门文章