周志华西瓜书学习笔记

第一章绪论

数据处理分为三个阶段：收集，分析，预测。

一、基本概念

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。

Mitchell给出的更形式化的定义为：假设用P来评估计算机程序在某任务T上的性能，若一个程序通过利用经验E在T中获得了性能改善，我们就可以说T和P，该程序对E进行了学习。

（一）泛化（generalization）

学得的模型适用于新样本的能力，称之为泛化能力。具有强泛化能力的模型能够更好地使用于整个样本空间。

（二）独立同分布（i.i.d）

通常假设样本空间的全体样本服从一个未知的分布（distribution），我们获得的每一个样本都是从整个样本空间中采样获得的，即“独立同分布”（independent and identically distributed, i.i.d)

二、假设空间大小计算

以文中的西瓜为例，求出假设空间：

这里我们的假设空间由形如“（色泽=？）^ （根蒂=?）^（敲声=？）”的可能取值所形成的假设组成。

色泽有“青绿”和“乌黑”两种取值，还需考虑无论色泽取什么值都合适的情况，用通配符（*）表示。色泽属性共三种取值；

根蒂有“蜷缩”、“硬挺”和“稍蜷”三种取值，同理再加通配符（*）表示，根蒂属性共四种取值；

敲声有“浊响”、“清脆”和“沉闷”三种取值，同理再加通配符（*）表示，敲声属性共四种取值；

还有一种假设组成——可能"好瓜”这个概念就不成立，我们用∅表示这种假设。

那么，所对应的假设组成的个数为：3x4x4+1=49. 即表1所对应的假设空间的规模大小为49. 其中：

具体假设： 2x3x3=18 种

一个通配符：2x3+3x3+2x3=21种

两个通配符：2+3+3=8 种

三个通配符：1种

概念不存在：1种

三、归纳偏好（inductive bias）

机器学习中对于某种假设类型具有特殊的偏好，成为归纳偏好（inductive bias），任何一个有效的机器学习算法必然都有其归纳偏好，否则无法产生确定的有意义的学习效果，会被“等效”的各个假设所迷惑。

（一）归纳原则——奥卡姆剃刀（Occam’s razor）

Occam’s razor是自然科学研究中最基本的原则，“若有多个假设与观察结果意志，则选用最简单的那个”，更平滑意味着更简单。

（二）没有免费的午餐定理——NFL（No Free Lunch）定理

对于某一个算法A，在一些问题上的表现优于算法B，必然存在某些问题的表现劣于算法B。

NFL定理出现前提：所有问题出现机会相同，所有问题同等重要。
NFL定理的意义是：脱离了问题本身，讨论哪种算法更好将没有任何意义。若考虑所有潜在问题，所有算法一样好，要谈论算法的优劣，必须要针对具体的学习问题。