机器学习（7）--VC维数

90年代初，Vapnik and A. Chervonenkis提出了支持向量机(Support vector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。
结合上次所说的，我们可以得到如下式子：

Ein(g)与Eout(g)之差足够小，即大于一个阈值e(该希腊字母不好显示，暂用e代替)的几率小于右边的式子，这就是我们想要的hypothesis。
我们令Ein(g)与Eout(g)之差大于阈值e为一个事件，该事件(坏事情–我们不太希望看到的事情)发生的几率足够小，及好事情发生的机会足够大。式子如下：

经化简我们可以得到：

上式为Eout的信赖区间，当然我们更关注的是Eout的上限即右边式子：

该式子的函数图：

从上述函数图我们可以得到：
当dvc增大时，Ein逐渐减少，模型复杂度（hypothesis复杂度）逐渐变大；
当dvc减小时，模型复杂度也变小，但Ein变大
当dvc=dvc*时，能得到Eout最小，这是我们想要的。

由此我们可以得到：
要设计一个好的机器学习算法时，不是Ein越小越好，而是结合成本考虑，达到一个平衡才是最好的。

上面讲了这么多，那该式子有什么应用呢？
举个例子：给定e,dvc,…我们可以估计所需要的样本量。

机器学习（7）--VC维数相关推荐

【数据挖掘】4. 打散(Shattering) VC维数基于VC维数和Margin的泛化定理
Shattering(打散) 前提准备 P P P 是在 R d \mathbb{R}^d Rd 上的点的集合,给定一个分类器 h ∈ H h\in\mathcal{H} h∈H ,定义: P h = ...
python的pca计算累计贡献率_Python机器学习实战：维数约简之主成分分析(PCA)详解...
机器学习实战:这里没有艰深晦涩的数学理论,我们将用简单的案例和大量的示例代码,向大家介绍机器学习的核心概念.我们的目标是教会大家用Python构建机器学习模型,解决现实世界的难题. 本文来自<数 ...
机器学习基石——VC维浅谈
VC维这个概念很重要,关于机器学习中预防过拟合的一些操作都可以用这个概念解释.http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4 ...
机器学习，VC维理解
VC维度定义: 对于一个指示函数集,如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 , 则称函数集能够把h个数据样本打散(shatter).函数集的VC维就是能打散的最大数据样 ...
k 最近邻_k最近邻与维数的诅咒
k 最近邻机器学习模型和维数的诅咒 (Machine Learning models and the curse of dimensionality) There is always a trade ...
维数灾难：都是孤独惹的祸
全文共2433字,预计学习时长7分钟图源:unsplash 维数灾难究竟是什么?除了是机器学习术语中让人闻风丧胆的主要实例外,还包括特征数量的增加对数据集的影响.简言之,维数灾难全都与孤独有关. 在 ...
机器学习和数据挖掘（7）：VC维
VC维回顾与说明如果一个假设空间存在突破点,则一定存在成长函数mH(N)m_{\mathcal H}(N)被某个上限函数B(N,k)B(N,k)所约束,而上限函数等于一个组合的求和形式∑k−1i= ...
【林轩田】机器学习基石（七）——VC维
Lecture 7: VC Dimension VC维 ppt video 7.1 Definition of VC Dimension VC维的定义复习1 上节课,林教授讲到了,当样本NNN足够大 ...
机器学习基础（五）：计算学习理论（PAC学习、有限假设空间、VC维、Rademacher复杂度、稳定性）
5.计算学习理论计算学习理论computational learning theory:研究关于机器学习的基础理论几个常用不等式: 5.1 PAC学习概率近似正确(PAC)Probably Ap ...

机器学习（7）--VC维数

机器学习（7）--VC维数相关推荐

最新文章

热门文章