西瓜书学习笔记（一、绪论）

一、机器学习是一门致力于研究如何通过计算的手段，利用经验来改善系统自身的性能的学科。

Mitchell的定义：对于某类任务T和性能度量P，如果一个计算机程序在T上其性能P随着经验E而自我完善，那么我们称这个计算机程序从经验E中学习。

二、基本术语

例：假定我们有一批西瓜，（色泽=青绿；根蒂=蜷缩；敲声=浊响）（色泽=乌黑；根蒂=稍蜷；敲声=沉闷）······

相关名词：数据集，示例、样本，属性、特征，属性空间、样本空间、输入空间，特征向量，特征的维数，训练，训练集，预测，标记，样例，标记空间，测试，测试样本。

机器学习的任务大体分为两大类：监督学习和无监督学习，分类和回归是前者的代表，聚类是后者的代表。

泛化（generalization）能力：我们希望在有限数据集上学得的模型能很好的适用于整个样本空间。

独立同分布（i.i.d）：通常假设样本空间中全体样本服从于一个未知分布，我们获得的每个样本都是独立的从这个分布上采样获得的。independent and identically distributed

假设空间：拿分类任务来看，假设可以理解为我们假设该事物的一组特征值取值可以满足确定分类成功的需要，那么所有特征值取值的集合称为假设空间。西瓜有色泽，敲声，瓜蒂三个特征，每个特征有四种取值（a,b,c,空集），那么假设空间就有4*4*4+1这么大（1是指空集，即世界上根本没有要分类的这个类别存在）

归纳偏好：机器学习中对于某种假设类型具有特殊的偏好，称为归纳偏好（inductive bias），任何一个有效的机器学习算法必然都有其归纳偏好，否则无法产生确定的有意义的学习效果，会被“等效”的各个假设所迷惑。

（一）归纳原则——奥卡姆剃刀（Occam’s razor）
Occam’s razor是自然科学研究中最基本的原则，“若有多个假设与观察结果意志，则选用最简单的那个”，更平滑意味着更简单。

（二）没有免费的午餐定理——NFL（No Free Lunch Theorem）定理
对于某一个算法A，在一些问题上的表现优于算法B，必然存在某些问题的表现劣于算法B。

证明

$\sum_{h}^{}\sum_{x\in \chi -x}^{}p(x)\mathbb{I}(h(x) \neq f(x)) \ P(h\ |\ X,\mathfrak L_a)$

$\sum_{f}^{}E_{ote}(\mathfrak L_a|X,f)=\sum_{f}\sum_{h}\sum_{x\in\chi-X}P(x)\mathbb{I}(h(x)\neq f(x))P(h|X,\mathfrak L_a)$

$= \sum_{x\in \chi -X}P(x)\sum_{h}P(h|X,\mathfrak L_a)\sum_{f}\mathbb{I}(h(x)\ne f(x))$

$=\sum_{x\in\chi-X}P(x)\sum_{h}P(h|X,\mathfrak L_a)\frac{1}{2}2^{\left | \chi \right |}$

$=\frac{1}{2}2^{|\chi|}\sum_{x\in\chi-X}P(x)\sum_{h}P(h|X,\mathfrak L_a)$

$=2^{|\chi|-1}\sum_{x\in\chi-X}P(x)\cdot 1$

于是有

$\sum_{f}E_{ote}(\mathfrak L_a|X,f)=\sum_{f}E_{ote}(\mathfrak L_b|X,f)$

即无论算法a有多聪明，b有多笨拙，他们的误差期望是相同的。证毕。

NFL定理出现的重要前提：所有问题出现机会相同，所有问题同等重要。但是实际情况并非如此！
NFL定理的意义是：脱离了问题本身，讨论哪种算法更好将没有任何意义。若考虑所有潜在问题，所有算法一样好，要谈论算法的优劣，必须要针对具体的学习问题。

西瓜书学习笔记（一、绪论）相关推荐

周志华西瓜书学习笔记(一)
周志华西瓜书学习笔记第一章绪论数据处理分为三个阶段:收集,分析,预测. 一.基本概念机器学习致力于研究如何通过计算的手段,利用经验来改善系统自身的性能. Mitchell给出的更形式化的定义为 ...
西瓜书学习笔记第2章（模型评估与选择）
西瓜书学习笔记第2章(模型评估与选择) 2.1经验误差与过拟合 2.2评估方法 2.2.1留出法(hold-out) 2.2.2交叉验证法(cross validation) 2.2.3自助法(boo ...
西瓜书--学习笔记1
西瓜书–学习笔记1 第一章 1.分类和回归是监督学习的代表,而聚类是无监督学习的代表. 2.归纳和演绎是科学推理的两大基本手段. 归纳:从特殊到一般的"泛化"过程,即从具体的事实归 ...
【机器学习】西瓜书学习笔记01
基于周志华<机器学习>一书所作笔记,得益于参加datawhale的学习小组,将知识读薄理解,输出以感悟,读厚以加深理解,从而形成自己的框架.希望大家也能一起进行开源学习,进一寸有一寸的欢喜 ...
西瓜书学习笔记——第一、二章
目录一.第一章绪论 1.重要基本术语 1.1 分类与回归 1.2 聚类 1.3 监督学习和无监督学习 1.4 泛化 1.5 归纳偏好二.第二章模型评估与选择 1.评估方法 1.1 留出法 2. ...
【Abee】吃掉西瓜——西瓜书学习笔记（三）
决策树(decision tree) 目录 [内容包含第四章] 基本流程信息增益(information gain) 剪枝处理(pruning) 连续值处理缺失值处理多变量决策树基本流程决 ...
【Abee】吃掉西瓜——西瓜书学习笔记（六）
贝叶斯分类器目录 [内容包含第七章] 贝叶斯决策论(Bayes decision theory) 极大似然估计(Maximum Likelihood Estimation,MLE) 朴素贝叶斯分类 ...
西瓜书学习笔记（一）
这本书一共16章,大体分为三部分: 第一部分:1-3章,介绍机器学习基础知识第二部分: 4-10章,介绍经典而常用的机器学习方法第三部分:11-16章,介绍一些进阶知识其中前三章之后各部分内容相 ...
西瓜书学习笔记——第十一章：特征选择与稀疏学习
第十一章:特征选择与稀疏学习 11.1 子集搜索与评价子集搜索特征子集评价 11.2 过滤式选择 Relief的相关统计量 11.3 包裹式选择拉斯维加斯方法和蒙特卡罗方法: 11.4 嵌入式选 ...

西瓜书学习笔记（一、绪论）

西瓜书学习笔记（一、绪论）相关推荐

最新文章

热门文章