机器学习笔记(2)----“没有免费的午餐”定理

“没有免费的午餐”定理（No Free Lunch Theorem，简称NFL）

先来看一个例子。假设学习算法a基于某种归纳偏好产生了对应于A的模型，学习算法b基于另一种归纳偏好产生了对应于曲线B的模型。

基于奥卡姆剃刀原理，我们会期待算法a比算法b更好。确实，如图(a)所示，和B相比，A与训练集外的样本更一致；换言之，A的泛化能力比B强。

但是，且慢！虽然我们希望并相信算法a比b更好，但会不会出现图(b)的情况：与A相比，B与训练集外的样本更一致？

注：黑点：训练样本；白点：测试样本。

这种情况是很有可能出现的，对于一个学习算法a，若它在某些问题上比学习算法b好，则必然存在另外一些问题，算法b比a好。

下面引出没有免费的午餐定理。

不管算法a有多好，泛化能力多强，算法b有多笨拙，这两个算法的期望值是相同的，换言之，这两个算法的性能可能差不多，甚至，一个最优算法可能

和一个胡乱猜想的算法性能相似。

NFL定理有个重要前提：所有问题出现的机会相同，或所有问题同等重要。但实际情况并不是如此，所以这就要求我们具体问题具体分析，很多时候，我们只关注

自己正在试图解决的问题，希望为它找到一个解决方案，至于这个解决方案在别的问题，甚至在相似的问题上是否是好方案，我们并不关心。

根据NFL，我们似乎无法找到这样一个放之四海而皆准的最优方案，所以一切问题都要具体问题具体分析。

机器学习笔记(2)----“没有免费的午餐”定理相关推荐

机器学习笔记1-“没有免费的午餐”定理（No Free Lunch Theorem）
教材-周志华<机器学习> 绪论各种基本术语不再赘述,大部分都可以望文生义. "没有免费的午餐"定理(No Free Lunch Theorem)(简称NFL定理):该定 ...
机器学习--没有免费的午餐定理
机器学习--没有免费的午餐定理解释: 一种算法(算法A)在特定数据集上的表现优于另一种算法(算法B)的同时,一定伴随着算法A在另外某一个特定的数据集上有着不如算法B的表现: 具体问题(机器学习领域内 ...
机器学习周志华--没有免费的午餐定理
没有免费的午餐定理(No Free Lunch Theorem),这个定理说明若学习算法 L a L_a La 在某些问题上比学习算法 L b L_b Lb 要好, 那么必然存在另一些问题, 在 ...
“没有免费的午餐”定理（NFL定理）
"没有免费的午餐"定理(NFL定理)的理解上篇最近在看这个,个人的理解而已. 简介在机器学习过程中,需要确定一个假设,从而确定了整个假设空间,而学习的过程就是在假设空间的众多 ...
机器学习中的没有免费的午餐定律是什么？“没有免费的午餐”对你意味着什么？没有免费午餐定律定律能给数据科学家提供什么启示？
机器学习中的没有免费的午餐定律是什么?"没有免费的午餐"对你意味着什么?没有免费午餐定律定律能给数据科学家提供什么启示? 目录
没有免费的午餐定理和丑小鸭定理
没有免费的午餐定理(noerfelunhchtocerm,简称NFL).该定理由wolpert和Macerday提出,结论是由于对所有可能函数的相互补偿,最优化算法的性能是等价的.该定理暗指,没有其它 ...
从“没有免费的午餐”理论看机器学习模型
2019独角兽企业重金招聘Python工程师标准>>> no free lunch直译为"没有免费的午餐",意思是没有付出,就没有收获.Wolpert and M ...
机器学习---“没有免费的午餐”(no free lunch)定理简单易懂的解释
初入机器学习领域的同学都知道机器学习中有一个普适的定理:没有免费的午餐(no free lunch). 对它的简单易懂的解释就是: 1.一种算法(算法A)在特定数据集上的表现优于另一种算法(算法B)的 ...
NFL定理——没有免费的午餐No Free Lunch Theorem
NFL定理--没有免费的午餐No Free Lunch Theorem 算法宝典西瓜书里绪论里提到了NFL定理,即"没有免费的午餐",虽然道理很简单,但是证明却稍显简陋.我在拜读了 ...

机器学习笔记(2)----“没有免费的午餐”定理

机器学习笔记(2)----“没有免费的午餐”定理相关推荐

最新文章

热门文章