机器学习——VC维问题

问：一般来说，函数集的VC维越高说明其表示能力越强

答：正确。VC维越大，学习机预测函数集的学习能力越强、泛化能力差，学习机也越复杂。

VC维度定义：

对于一个指示函数集，如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开，则称函数集能够把h个数据样本打散。函数集的VC维就是能打散的最大数据样本数目h。

若对任意数目的数据样本都有函数能将它们打散，则函数集的VC维为无穷大。

VC维在机器学习中的意义还是很大的，它是统计学习理论用来衡量函数集性能的一种指标——VC维越大，则学习过程越复杂。目前还没有通用的关于任意函数集VC维的计算理论，只知道一些特殊函数集的VC维。

可简单理解为模型的复杂度和灵活度，VC维越高的模型，能够表征的函数就越广泛，但由于数据的不足容易造成过拟合。

机器学习——VC维问题相关推荐

机器学习|VC维的理解
考虑二分类问题现有数学定义: 待分类样本集假设空间那么利用假设对样本集进行标记,那么二分类就是对样本标记为1,-1 例如 '对分'和'打散' 相当于利用红线,完成将样本点标记为'+'或'-',每 ...
机器学习和数据挖掘（7）：VC维
VC维回顾与说明如果一个假设空间存在突破点,则一定存在成长函数mH(N)m_{\mathcal H}(N)被某个上限函数B(N,k)B(N,k)所约束,而上限函数等于一个组合的求和形式∑k−1i= ...
【林轩田】机器学习基石（七）——VC维
Lecture 7: VC Dimension VC维 ppt video 7.1 Definition of VC Dimension VC维的定义复习1 上节课,林教授讲到了,当样本NNN足够大 ...
详解机器学习中的VC维
机器学习中的经典算法SVM(支持向量机)最初是由前苏联数学家Vladimir Vapnik 和 Alexey Chervonenkis 在 1963年提出的.二人合作完成的另外一个之于机器学习的重要贡 ...
机器学习基础（五）：计算学习理论（PAC学习、有限假设空间、VC维、Rademacher复杂度、稳定性）
5.计算学习理论计算学习理论computational learning theory:研究关于机器学习的基础理论几个常用不等式: 5.1 PAC学习概率近似正确(PAC)Probably Ap ...
机器学习中样本的样本量的估计(VC维)
转自:http://blog.csdn.net/uestc_c2_403/article/details/72859021 在机器学习中,如果样本量不足,我们利用模型学习到的结果就有可能是错误的,因为 ...
机器学习基石——VC维浅谈
VC维这个概念很重要,关于机器学习中预防过拟合的一些操作都可以用这个概念解释.http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4 ...
机器学习，VC维理解
VC维度定义: 对于一个指示函数集,如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 , 则称函数集能够把h个数据样本打散(shatter).函数集的VC维就是能打散的最大数据样 ...
VC维的来龙去脉(转)
目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Funct ...

机器学习——VC维问题

VC维度定义：

机器学习——VC维问题相关推荐

最新文章

热门文章