机器学习中的奥卡姆剃刀定律

奥卡姆剃刀定律是机器学习选择算法时可参照的标准之一。其含义是：在其他条件一样的情况下，选择简单的那个。

该定律的意义在于数据的拟合和低复杂性之间实际上存在着折衷。

理论上假设的解决方案越复杂，就越能拟合数据，训练数据误差就会越低

图1

但是在现实生活中，有关未知数据的泛化误差，往往如图2所示。

图2

泛化数据误差实际是训练数据误差与另一个名为过拟合误差的函数之和。

图3

在泛化误差最小得情况下，可获得最佳复杂性。用于计算过拟合误差得方法统称为贝叶斯方差方法。在现实生活中，通常只会获得训练数据误差。但实践表明，如果你不去选择能够使训练数据误差最小化的模型，而是选择复杂性低一点的模型，算法的表现往往会更好。过拟合是机器学习算法性能不佳得主要缘由。这也是在机器学习中应用奥卡姆剃刀定律的原因。

作者：AryaHooper
链接：https://www.jianshu.com/p/e5f2a432ce62
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

机器学习中的奥卡姆剃刀定律相关推荐

上交大许志钦：神经网络中的奥卡姆剃刀——简单有效原理
来源: 智源社区作者:许志钦整理:熊宇轩编辑:李梦佳本文整理自青源Talk第十期,视频回看地址:https://event.baai.ac.cn/activities/217 [专栏:研究思路 ...
机器学习模型设计准则：“无免费午餐”定理和“奥卡姆剃刀”原则
转载:机器学习模型设计准则:"无免费午餐"定理和"奥卡姆剃刀"原则好好看看,你会有观念上的收获的(*^▽^*) 上学时你一定过学习新知识的经历:首先要结合老师 ...
墨菲定律、二八法则、马太效应、手表定理、“不值得”定律、彼得原理、零和游戏、华盛顿合作规律、酒与污水定律、水桶定律、蘑菇管理原理、钱的问题、奥卡姆剃刀等13条是左右人生的金科玉律。
一.墨菲定律 1949年,一位名叫墨菲的空军上尉工程师,认为他的某位同事是个倒霉蛋,不经意间开了句玩笑:"如果一件事情有可能被弄糟,让他去做就一定会弄糟." 这句话迅速流传,并 ...
墨菲定律、二八法则、马太效应、手表定理、“不值得”定律、彼得原理、零和游戏、华盛顿合作规律、酒与污水定律、水桶定律、蘑菇管理原理、钱的问题、奥卡姆剃刀等13条是左右人生的金科玉律
转载地址:http://blog.csdn.net/byxdaz/article/details/3981125 墨菲定律.二八法则.马太效应.手表定理."不值得"定律.彼得原理. ...
(转载)墨菲定律、二八法则、马太效应、手表定理、“不值得”定律、彼得原理、零和游戏、华盛顿合作规律、酒与污水定律、水桶定律、蘑菇管理原理、钱的问题、奥卡姆剃刀等13条是左右人生的金科玉律
墨菲定律.二八法则.马太效应.手表定理."不值得"定律.彼得原理.零和游戏.华盛顿合作规律.酒与污水定律.水桶定律.蘑菇管理原理.钱的问题.奥卡姆剃刀等13条是左右人生的金科玉律 ...
墨菲定律、二八法则、马太效应、手表定理、“不值得”定律、彼得原理、零和游戏、华盛顿合作规律、酒与污水定律、水桶定律、蘑菇管理原理、钱的问题、奥卡姆剃刀等13条是左右人生的金科玉律...
墨菲定律.二八法则.马太效应.手表定理."不值得"定律.彼得原理.零和游戏.华盛顿合作规律.酒与污水定律.水桶定律.蘑菇管理原理.钱的问题.奥卡姆剃刀等13条是左右人生的金科玉律 ...
墨菲定律、二八法则、马修、手表定理、“不肖”法、彼得原理、零和游戏、华盛顿合作规律、酒与污水定律、水桶定律、蘑菇管理原则、钱的问题、奥卡姆剃刀等。13文章是关于生活的金科玉律...
墨菲定律.二八法则.马太效应.手表定理."不值得"定律.彼得原理.零和游戏.华盛顿合作规律.酒与污水定律.水桶定律.蘑菇管理原理.钱的问题.奥卡姆剃刀等13条是左右人生的金科玉律 ...
史上最全交互设计原则（三）之奥卡姆剃刀原理
1.定义奥卡姆剃刀定律又称"奥康的剃刀",它是由英格兰的逻辑学家奥卡姆的威廉在14世纪提出.这个原理称为"如无必要,勿增实体",即"简单有效原理&q ...
极简主义的思想内核-奥卡姆剃刀原则
在去年的跨年演讲里,罗胖曾讲过一个"奥卡姆剃刀"原则,当时只觉得新奇,倒没有去仔细研究,直到昨天在一篇文章里又看到这个名词,说的神乎其神,比如下面这段描述: "这把剃刀出 ...
100种思维模型之奥卡姆剃刀思维模型-87
Everything should be made as simple as possible, but not simpler (凡事都应当尽可能地简单,而不是较为简单)--爱因斯坦 ...

机器学习中的奥卡姆剃刀定律

机器学习中的奥卡姆剃刀定律相关推荐

最新文章

热门文章