对奥卡姆剃刀（Occam’s razor）原理的思考

在所有可能选择的模型中，能够很好地解释已知数据并且十分简单才是最好的。

a={条件一，条件二，条件三,条件四}#真实数据的条件

b={条件一，条件二，条件三}

c={条件一，条件二，条件三，条件四，条件五}#条件五不是已知数据满足的条件

data#已知数据

data1#真实数据

if a中的条件d全部满足：

d为data1中成员

if b中的条件d全部满足：

d可能为data1中成员

if c中的条件d全部满足and data1中数据不满足条件五：

d一定不是data1中成员

if c中的条件d全部满足and data1中数据部分满足条件五and 该预测数据是满足条件五的数据：

d一定是data1中数据

if c中条件的都满足and data1中数据部分满足条件五and该预测数据也不满足条件五：

d一定不是data1中的数据

当满足a，b，c的模型与data的误差在允许范围内时，满足a的模型对未知数据预测精度不存在为0的情况，满足c的模型对未知数据预测精度存在为0情况。

满足条件少的模型比满足条件多的模型简单。

在现实中数据满足的条件是未知的，为此在对训练集数据满足精度要求的前提下，选择满足条件最少的模型较好。

对奥卡姆剃刀（Occam’s razor）原理的思考相关推荐

L1,L2正则化理解－奥卡姆剃刀(Occam's razor)原理
L0.L1与L2范数转自:zouxy09@qq.com http://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化.我们先简单的来理解下常用的 ...
机器学习学习记录2：归纳偏好（奥卡姆剃刀原则和NFL定理）
定义对于相同的训练样本,不同学习算法会产生不同的模型,决定其产生模型的,是学习算法本身的"偏好".此处,书中引入"归纳偏好"的概念: 机器学习算法在学习过程中 ...
奥卡姆剃刀法则：用信息论解释简约之法则(Occam‘s Razor)【设法只保留少量的，等同于全部信息的有效信息。】
文章目录引言 I Ockham's Razor 1.1 若无必要,勿增实体 1.2 历代大学问家的治学准则 II 信息论解释 2.1 要消除不确定性,就要使用信息. 2.2 找到最小的集合(基函数) ...
【科普】让人头秃的理论：什么是“奥卡姆剃刀”原理？
对于照片上出现不明物体这一现象,小灰和大黄分别给出了不同的结论,究竟哪一个更有可能是真相呢? 我们先来分析一下小灰的观点.小灰对于当前现象,提出了三个假设: 假设1. 有外星人存在假设2. 外星人拥 ...
正则化与奥卡姆剃刀原理
正则化是模型选择的经典方法. 在想到正则化时,需要联系到这个词:结构风险最小化. 结构风险 = 经验风险 + 正则化项/罚项且一般正则化项是模型复杂度的单调递增函数,即模型越复杂正则化项值就越大. ...
墨菲定律、二八法则、马太效应、手表定理、“不值得”定律、彼得原理、零和游戏、华盛顿合作规律、酒与污水定律、水桶定律、蘑菇管理原理、钱的问题、奥卡姆剃刀等13条是左右人生的金科玉律。
一.墨菲定律 1949年,一位名叫墨菲的空军上尉工程师,认为他的某位同事是个倒霉蛋,不经意间开了句玩笑:"如果一件事情有可能被弄糟,让他去做就一定会弄糟." 这句话迅速流传,并 ...
史上最全交互设计原则（三）之奥卡姆剃刀原理
1.定义奥卡姆剃刀定律又称"奥康的剃刀",它是由英格兰的逻辑学家奥卡姆的威廉在14世纪提出.这个原理称为"如无必要,勿增实体",即"简单有效原理&q ...
让人头秃的理论：什么是“奥卡姆剃刀”原理？
对于照片上出现不明物体这一现象,小灰和大黄分别给出了不同的结论,究竟哪一个更有可能是真相呢? 我们先来分析一下小灰的观点.小灰对于当前现象,提出了三个假设: 假设1. 有外星人存在假设2. 外星人拥 ...
墨菲定律、二八法则、马太效应、手表定理、“不值得”定律、彼得原理、零和游戏、华盛顿合作规律、酒与污水定律、水桶定律、蘑菇管理原理、钱的问题、奥卡姆剃刀等13条是左右人生的金科玉律
转载地址:http://blog.csdn.net/byxdaz/article/details/3981125 墨菲定律.二八法则.马太效应.手表定理."不值得"定律.彼得原理. ...
机器学习——“奥卡姆剃刀”原理
百科:切勿浪费较多东西去做,用较少的东西,同样可以做好的事情." 简单性原则 (1)在机器学习中选择算法时,其含义是:在其他条件一样的情况下,选择简单的那个. (2)李航<统计 ...

对奥卡姆剃刀（Occam’s razor）原理的思考

对奥卡姆剃刀（Occam’s razor）原理的思考相关推荐

最新文章

热门文章