（4）绪论三：归纳偏好

通过学习得到的一个模型对应了假设空间的一个假设（这是上节假设空间的内容）

归纳偏好或偏好：机器学习算法在学习过程中对某种类型假设的偏好（对于一个新西瓜来说：让一个训练好的模型来判断它为好瓜还是坏瓜？可以根据某种特征判断它为好瓜，也可以根据另外一种特征判断它为坏瓜，归纳偏好就是看哪一个特征更为重要，从而根据比例将新西瓜进行分类）

如果没要偏好，说明两种特征都一样重要，这时模型对新西瓜的预测，时而判断它是好瓜，时而判断它是坏瓜，这样在模型根本没有任何意义

归纳偏好可看作学习算法自身在一个可能很庞大的假设空间中对假设进行选择的启发式或“价值观”

奥卡姆剃刀原则：若有多个假设与观察一致，则选最简单的那个
没有免费的午餐定理（NFL定理）：无论A算法多简单，B算法多复杂，他们两的期望值（平均值）是一样的，也就是说无论是繁还是简，它们的预测值相同

没有免费的午餐定理告诉我们：就算我们用奥卡姆剃刀原则来选择简单的模型，但也会在一些情况下选的模型不够较复杂的模型好

NFT定理有一个重要的前提：所有问题出现的机会相同，或所有问题同等重要

但是

现实情况并不是这样，在考虑具体问题的条件下，模型还是有好坏之分的

很多时候，我们只关注自己正在试图解决的问题，希望为它找到一个解决方案，至于这个解决方案在别的问题、甚至在相似的问题上是否为好方案，我们并不关心

最后（下面这句话十分关键）

学习算法自身的归纳偏好与问题是否相配，往往会起决定性的作用

下一步：推NFL定理

（4）绪论三：归纳偏好相关推荐

[学渣啃西瓜书]绪论-基本概念辨析(4)-归纳偏好
上训练集训练后的假设上面是训练集学习后的假设空间中的三个假设(Y=(好瓜) ). 去水果摊看到一个新瓜(色泽=青绿; 根蒂=蜷缩;敲声=沉闷) 用左上假设判断是好瓜,用右上假设判断是坏瓜,用中下假 ...
绪论——假设空间、归纳偏好、发展历程
文章目录 1.假设空间 1.1归纳与演绎 1.2假设空间 2.归纳偏好 3.发展历程 1.假设空间 1.1归纳与演绎归纳(induction) 与演绎(deduction)是科学推理的两大基本手 ...
独家|一文带你理解机器学习中的“归纳偏好”真正含义！
↑ 点击上方[计算机视觉联盟]关注我们举例子: 三种属性:{白色.黄色.黑色}+{眼睛颜色蓝色.眼睛颜色不一样}+{有铃铛.没铃铛} 判断是不是"猫" 通过机器学习,现在给了 ...
机器学习学习记录2：归纳偏好（奥卡姆剃刀原则和NFL定理）
定义对于相同的训练样本,不同学习算法会产生不同的模型,决定其产生模型的,是学习算法本身的"偏好".此处,书中引入"归纳偏好"的概念: 机器学习算法在学习过程中 ...
【读书笔记】周志华《机器学习》第三版课后习题讨第一章-绪论
虽然是绪论..但是...真的有点难!不管怎么说,一点点前进吧... 声明一下答案不一定正确,仅供参考,为本人的作答,希望大神们能多多指教~ 1.1 表1.1中若只包含编号为1和4的两个样例,试给出相应 ...
机器学习笔记(一)绪论
1.绪论 1.1引言机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能:经验,则以数据的形式存在,故而,机器学习所研究的,正是在计算机上从数据中产生模型的算法,即学习算法.基于学习算 ...
周志华《机器学习》课后习题解析（第一章）绪论
周志华老师的<机器学习>(西瓜书)一书,没有公布答案,于是我们从网上搜集了各题目的答案,供大家参考. 参考答案第一章绪论 1.1.表1.1中若只包含编号为1,4的两个样例,试给出相应的 ...
机器学习总结之第一章绪论
[第1章绪论] [一.知识点归纳] 1.1 引言学习算法:机器学习所研究的主要内容,是关于在计算机上从数据中产生"模型"的算法,即"学习算法". 学习算法的 ...
周志华《机器学习初步》绪论
周志华 <机器学习初步> 绪论 Datawhale2022年12月组队学习 ✌ 文章目录周志华 <机器学习初步> 绪论一.机器学习二.典型的机器学习过程三.计算学习理论 ...

（4）绪论三：归纳偏好

（4）绪论三：归纳偏好相关推荐

最新文章

热门文章