文章目录

1. Dichotomies: Mini-hypotheses
2. Growth Function
3. Growth Function for Positive Rays
4. Growth Function for Positive Intervals
5. Growth Function for Convex Sets
6. Fun Time

1. Dichotomies: Mini-hypotheses

原来的hypothesis set：

引入新概念：

dichotomy：只关注hypothesis作用在x1,x2,⋯ ,xN\mathbf{x_{1}},\mathbf{x_{2}},\cdots,\mathbf{x_{N}}x1,x2,⋯,xN上的结果，这样就可以把所有的hypothesis像上一节一样进行分类。

令
h(x1,x2,⋯ ,xN)=(h(x1),h(x2),⋯ ,h(xN))∈{×,◯}Nh(\mathbf{x_{1}},\mathbf{x_{2}},\cdots,\mathbf{x_{N}})=(h(\mathbf{x_{1}}),h(\mathbf{x_{2}}),\cdots,h(\mathbf{x_{N}})) \in \{\times ,\bigcirc\}^Nh(x1,x2,⋯,xN)=(h(x1),h(x2),⋯,h(xN))∈{×,◯}N

希望可以用∣H(x1,x2,⋯ ,xN)∣|\mathcal{H}(\mathbf{x_{1}},\mathbf{x_{2}},\cdots,\mathbf{x_{N}})|∣H(x1,x2,⋯,xN)∣来代替原来的MMM。

2. Growth Function

然而∣H(x1,x2,⋯ ,xN)∣|\mathcal{H}(\mathbf{x_{1}},\mathbf{x_{2}},\cdots,\mathbf{x_{N}})|∣H(x1,x2,⋯,xN)∣与输入的(x1,x2,⋯ ,xN)(\mathbf{x_{1}},\mathbf{x_{2}},\cdots,\mathbf{x_{N}})(x1,x2,⋯,xN)有关。

用其最大值来摆脱输入的依赖。

比如：
mH(1)=2m_{H}(1) =2mH(1)=2
mH(2)=4m_{H}(2) =4mH(2)=4
mH(3)=8m_{H}(3) =8mH(3)=8
mH(4)=14m_{H}(4) =14mH(4)=14

3. Growth Function for Positive Rays

考虑一个简单的情况：Positive Rays
h(x)={1,x>threshold−1,x⩽thresholdh(x) = \begin{cases} 1, &x>threshold\\ -1, &x\leqslant threshold \end{cases}h(x)={1,−1,x>thresholdx⩽threshold

相当于一维的perceptrons的一半。

易得

H(x1,x2,⋯ ,xN)\mathcal{H}(\mathbf{x_{1}},\mathbf{x_{2}},\cdots,\mathbf{x_{N}})H(x1,x2,⋯,xN)中每一个h(x1,x2,⋯ ,xN)\mathcal{h}(\mathbf{x_{1}},\mathbf{x_{2}},\cdots,\mathbf{x_{N}})h(x1,x2,⋯,xN)的样子

当NNN很大时，N+1N+1N+1远小于2N2^N2N。

4. Growth Function for Positive Intervals

考虑另外一种情况：Positive Intervals
范围内为+1，范围外为-1。

它的mH(N)m_{H}(N)mH(N)

NNN个点把数轴分为N+1N+1N+1段，如果范围的两个端点放在不同的段内，那么一共有$
\begin{pmatrix}
N+1 \
2 \
\end{pmatrix}
$种，如果放在同一段内，那么只有1种。

这个结果在NNN很大时也是远小于2N2^N2N的。

5. Growth Function for Convex Sets

考虑hhh为平面上的一个凸包的情况

当x\mathbf{x}x在凸包内部时，h(x)=1h(\mathbf{x})=1h(x)=1，否则h(x)=−1h(\mathbf{x})=-1h(x)=−1

一种可能的输入：所有的点都在一个大圆上。

这时无论每个点对应的是圈还是叉，都能找到一种凸包对应一个dichotomy。

6. Fun Time

机器学习基石 5.3 Effective Number of Hypotheses相关推荐

台湾大学林轩田机器学习基石课程学习笔记5 -- Training versus Testing
红色石头的个人网站:redstonewill.com 上节课,我们主要介绍了机器学习的可行性.首先,由NFL定理可知,机器学习貌似是不可行的.但是,随后引入了统计学知识,如果样本数据足够大,且hypo ...
机器学习基石笔记5——为什么机器可以学习（1）
转载请注明出处:http://www.cnblogs.com/ymingjingr/p/4271742.html 目录机器学习基石笔记1--在何时可以使用机器学习(1) 机器学习基石笔记2--在何时 ...
5. 机器学习基石-Why can Machine Learn?
Why can Machine Learn? Why can Machine Learn? 1. Preview of Last Chapter 2. VC Bound (Vapnik-Chervon ...
台大机器学习基石学习笔记
台大机器学习基石学习笔记标签(空格分隔): 机器学习目录台大机器学习基石学习笔记目录 Lecture 1 The Learning Problem Course Introduction Wh ...
机器学习基石笔记（六）：泛化理论
文章目录 Lecture 6: Theory of Generalization Restriction of Break Point Fun Time Bounding Function: Basi ...
机器学习基石05：训练与测试（Training versus Testing）
上一篇文章介绍了机器学习的可行性.本文将讨论机器学习的核心问题,严格证明为什么机器可以学习. 系列文章机器学习基石01:机器学习简介机器学习基石02:感知器算法(Perceptron Algori ...
林轩田机器学习基石笔记5 - Training versus Testing
Recap and Preview 机器学习流程图第一节课,介绍机器学习是要找到最好的g,使g≈f(目标函数),保证Eout(g)≈0.第二节课,找方法使Ein≈0,如PLA和pocket.第四节课 ...
台湾大学林轩田机器学习基石课程学习笔记12 -- Nonlinear Transformation
红色石头的个人网站:redstonewill.com 上一节课,我们介绍了分类问题的三种线性模型,可以用来解决binary classification和multiclass classificati ...
台湾大学林轩田机器学习基石课程学习笔记8 -- Noise and Error
红色石头的个人网站:redstonewill.com 上一节课,我们主要介绍了VC Dimension的概念.如果Hypotheses set的VC Dimension是有限的,且有足够多N的资料,同 ...

机器学习基石 5.3 Effective Number of Hypotheses