RECAP
SOLUTION
- m增长速度受限
- 将m带回原式中的M
例子
总结

RECAP

机器学习是可行的，如果假设集H是有限的并且统计样本数据(statistical data)很大。

那么，问题来了，PLA算法中，假设集是二维空间中的直线，有无数条，不符合上面的条件，那么还可行么？

SOLUTION

m增长速度受限

将类似的假设集合并，如果是二分类问题，有N个点的话，理论上会有2^N个分类情况mHm_H，但实际上并不会这么多。

mHm_H: max number of dichotomies
B(N,K)B(N,K):如果break point在第k个点上，N个数据点最大的dichotomies
∑k−1i=0C(N,k) \sum_{i=0}^{k-1} C(N,k):B(N,K)B(N,K)的上限，增长速度是O(Nk−1)O(N^{k-1})

mH<=B(N,K)<=∑i=0k−1C(N,k)<=2N

m_H

通过上面的公式，我们知道：
如果可以将mHm_H代替原不等式的M，那么多项式函数的增长速度小于指数函数的增长速度，所以误差率的上限是有保证的，也就是说学习是可行的。

注意：
对于converx图，mH=2Nm_H=2^N，这种情况很难比较。

将m带回原式中的M

通过一些数学变换，可以将m带回原式中的M，得到

这表明，随着数据集的增多，如果mHm_H的增长速度受限，或者说其有break point点，那么当N足够大的时候，学习是可行的。

这就是VC维理论。

例子

总结

ML基石_56_TheoryOfGeneralization相关推荐

ML基石_1_LearningProblem
课程逻辑学习与机器学习机器学习的适用机器学习概图课程逻辑本系列文章属于台湾大学<机器学习基石>的笔记. 该课程主要包括以下四个部分 1. When can machine lea ...
ML基石_14_Regularization
知识脉络模型太复杂容易造成过拟合,因此让模型从复杂的慢慢的变简单. step back matrix form lagrange multiplier augmented error other v ...
ML基石_11_HazardOfOverfitting
学习曲线来说,当数据量N很小的时候,large generation会造成很大的Eout. 造成overfit的主要有四种因素: 1. 资料量不够 2. stochastic noise太多 3. 目 ...
ML基石_12_NonLinearTransformation
retro quadratic hypothesis nonlinear transform price on nonlinear transform structured hypothesis se ...
ML基石_LinearModelsForClassfication
retro start linear models for 01 classification 回顾线性模型误差函数分析解决步骤 stochastic gradient descent 概述 PL ...
ML基石_10_LogisticRegression
logistic regression problem Y是概率的情况相同数据不同目标函数 logis假设集 logistic regression error error already styd ...
ML基石_9_LinearRegression
linear regression problem linear regression algorithm 优化问题求梯度算法 generalization issue 是否学到了东西上限保证 ...
ML基石_8_NoiseAndError
recap Noise and Probabilistic Target noise来源 Probabilistic Target Error Measure Algorithmic Error Me ...
ML基石_4_FeasibilityOfLearning
回顾 focus: binary classification or regression from a batch of supurvised data with concrete features ...

ML基石_56_TheoryOfGeneralization

RECAP

SOLUTION

m增长速度受限

将m带回原式中的M

例子

总结

ML基石_56_TheoryOfGeneralization相关推荐

最新文章

热门文章