1.假设空间

1.1归纳与演绎

归纳(induction) 与演绎(deduction)是科学推理的两大基本手段.前者是从特殊到一般的"泛化" (generalization) 过程，即从具体的事实归结出一般性规律;后者则是从一般到特殊的"特化" (specializatio叫过程，即从基础原理推演出具体状况。
归纳学习有狭义与广义之分：广义的归纳学习大体相当于从样例中学习，而狭义的归纳学习则要求从训练数据中学得概念(concept) ，因此亦称为"概念学习"或"概念形成"。
概念学习中最基本的是布尔概念学习，即对"是" "不是"这样的可表示0/1布尔值的目标概念的学习.

1.2假设空间

我们可以把学习过程看作一个在所有假设(hypothesis) 组成的空间中进行搜索的过程，搜索目标是找到与训练集"匹配"但t) 的假设，即能够将训练集中的瓜判断正确的假设.假设的表示一旦确定，假设空间及其规模大小就确定了。

可以有许多策略对这个假设空间进行搜索，例如自顶向下、从一般到特殊，或是自底向上、从特殊到一般，搜索过程中可以不断删除与正例不一致的假设、和(或)与反例→致的假设.最终将会获得与训练集一致(即对所有训练样本能够进行正确判断)的假设，这就是我们学得的结果。
需注意的是，现实问题中我们常面临很大的假设空间，但学习过程是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的"假设集合"，我们称之为"版本空间" (version space).

2.归纳偏好

通过学习得到的模型对应了假设空间中的一个假设。于是，图1 的西瓜版本空间给我们带来一个麻烦：现在有三个与训练集一致的假设，但与它们对应的模型在面临新样本的时候，却会产生不同的输出。
机器学习算法在学习过程中对某种类型假设的偏好，称为"归纳偏好" (inductive bias) , 或简称为"偏好"
任何一个有效的机器学习算法必有其归纳偏好，否则它将被假设空间中看似在训练集上"等效"的假设所迷惑，而无法产生确定的学习结果。

3.发展历程

绪论——假设空间、归纳偏好、发展历程相关推荐

（4）绪论三：归纳偏好
通过学习得到的一个模型对应了假设空间的一个假设(这是上节假设空间的内容) 归纳偏好或偏好:机器学习算法在学习过程中对某种类型假设的偏好(对于一个新西瓜来说:让一个训练好的模型来判断它为好瓜还是坏瓜?可 ...
[学渣啃西瓜书]绪论-基本概念辨析(4)-归纳偏好
上训练集训练后的假设上面是训练集学习后的假设空间中的三个假设(Y=(好瓜) ). 去水果摊看到一个新瓜(色泽=青绿; 根蒂=蜷缩;敲声=沉闷) 用左上假设判断是好瓜,用右上假设判断是坏瓜,用中下假 ...
机器学习（一）——发展历程
机器学习(一)--发展历程引言人工智能(英语:artificial intelligence,缩写为AI)究竟是什么?目前难以精确定义人工智能于一般教材中的定义领域是"智能主体(int ...
【TransformerCNNTiDE】从CNN到ViT，再从ViT到TiDE，回顾近十年顶刊和会议发表的关于Attention自注意力、Conv卷积机制以及最新诞生的TiDE模型的发展历程
目录一.CV中的Transformer介绍二.Attention机制增强CNN 前言: 1. Attention Augmented Convolutional Networks(ICCV 201 ...
你需要了解操作系统发展历程
本文我们大概回顾计算机操作系统发展历程,这里不会记录关于操作系统的完整历史记录,只是记录那些里程碑事件,看看各位接触计算机时,操作系统发展正处于哪个年代起初没有操作系统,没有编程语言或编译器,甚至 ...
计算机视觉概述：视觉任务+场景领域+发展历程+典型任务
一.什么是计算机视觉定义:计算机视觉(Computer vision)是⼀⻔研究如何使机器"看"的科学,更进⼀步的说,就是指⽤摄影机和计算机代替⼈眼对⽬标进⾏识别.跟踪和测量 ...
独家|一文带你理解机器学习中的“归纳偏好”真正含义！
↑ 点击上方[计算机视觉联盟]关注我们举例子: 三种属性:{白色.黄色.黑色}+{眼睛颜色蓝色.眼睛颜色不一样}+{有铃铛.没铃铛} 判断是不是"猫" 通过机器学习,现在给了 ...
微信是怎样炼成的微信产品的发展历程
迄今为止,微信月活跃用户接近6亿,称得是每个智能手机用户最常用的应用,人人都说,微信是个伟大的产品.现在微信作为一个平台型的产品,集成了众多丰富的,能给用户带来不同功能和体验的模块和工具,已经成为了腾 ...
科普了解高级编程语言的发展历程
原文标题:高级语言是怎么来的高级编程语言的发展历程(一) 创始纪 2009-5-13 原文链接终于放暑假了,有心情来八卦了.我主要想八卦一下高级语言的设计思想和各种范式的来龙去脉,也就是回答这个问 ...

绪论——假设空间、归纳偏好、发展历程

文章目录