VC维含义的个人理解
转自:VC维含义的个人理解
有关于VC维可以在很多机器学习的理论中见到,它是一个重要的概念。在读《神经网络原理》的时候对一个实例不是很明白,通过这段时间观看斯坦福的机器学习公开课及相关补充材料,又参考了一些网络上的资料(主要是这篇,不过个人感觉仍然没有抓住重点),重新思考了一下,终于理解了这个定义所要传达的思想。
先要介绍分散(shatter)的概念:对于一个给定集合S={x1, ... ,xd},如果一个假设类H能够实现集合S中所有元素的任意一种标记方式,则称H能够分散S。
这样之后才有VC维的定义:H的VC维表示为VC(H) ,指能够被H分散的最大集合的大小。若H能分散任意大小的集合,那么VC(H)为无穷大。在《神经网络原理》中有另一种记号:对于二分总体F,其VC维写作VCdim(F)。
通常定义之后,会用二维线性分类器举例说明为什么其VC维是3,而不能分散4个样本的集合,这里也就是容易产生困惑的地方。下面进行解释。
对于三个样本点的情况,下面的S1所有的标记方式是可以使用线性分类器进行分类的,因此其VC维至少为3(图片来自于斯坦福机器学习公开课的materials,cs229-notes4.pdf):
虽然存在下面这种情况的S2,其中一种标记方式无法用线性分类器分类(图片来自于斯坦福机器学习公开课的materials,cs229-notes4.pdf)
但这种情况并不影响,这是因为,上一种的S1中,我们的H={二维线性分类器}可以实现其所有可能标签情况的分类,这和S2不能用H分散无关。
而对于4个样本点的情况,我们的H不能实现其所有可能标签情况的分类(这是经过证明的,过程不详)如下图中某个S和其中一种标签分配情况:
可见,H={二维线性分类器}的VC维是3。
从这个解释过程可以看出,对于VC维定义理解的前提是先理解分散的定义。分散中的集合S是事先选定的,而VC维是能分散集合中基数(即这里的样本数)最大的。因此,当VC(H)=3时,也可能存在S',|S'|=3但不能被H分散;而对于任意事先给定的S",|S"|=4,H不能对其所有可能的标签分配方式进行分散。这里所谓“事先给定”可以看作其点在平面上位置已定,但所属类别未定(即可能是任意一种标签分配)。
作者:五岳
出处:http://www.cnblogs.com/wuyuegb2312
对于标题未标注为“转载”的文章均为原创,其版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
VC维含义的个人理解相关推荐
- 机器学习,VC维理解
VC维度定义: 对于一个指示函数集,如果存在h个数据样本能够被函数集中的函数按所有可能的2^h 种形式分开 , 则称函数集能够把h个数据样本打散(shatter).函数集的VC维就是能打散的最大数据样 ...
- 机器学习——VC维问题
问:一般来说,函数集的VC维越高说明其表示能力越强 答:正确.VC维越大,学习机预测函数集的学习能力越强.泛化能力差,学习机也越复杂. VC维度定义: 对于一个指示函数集,如果存在h个数据样本能够被函 ...
- ML之VC维:VC维(Vapnik-Chervonenkis Dimension)理论的概述(衡量模型复杂度和预测能力的指标)的简介、案例理解之详细攻略
ML之VC维:VC维(Vapnik-Chervonenkis Dimension)理论的概述(衡量模型复杂度和预测能力的指标)的简介.案例理解之详细攻略 目录 VC维(Vapnik-Chervonen ...
- 机器学习|VC维的理解
考虑二分类问题 现有数学定义: 待分类样本集 假设空间 那么利用假设对样本集进行标记,那么二分类就是对样本标记为1,-1 例如 '对分'和'打散' 相当于利用红线,完成将样本点标记为'+'或'-',每 ...
- VC维的来龙去脉(转)
目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Funct ...
- VC维的来龙去脉 | 火光摇曳
转载地址:http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E% ...
- VC维与DNN的Boundary
原文链接:解读机器学习基础概念:VC维来去 作者:vincentyao 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effecti ...
- 机器学习和数据挖掘(7):VC维
VC维 回顾与说明 如果一个假设空间存在突破点,则一定存在成长函数mH(N)m_{\mathcal H}(N)被某个上限函数B(N,k)B(N,k)所约束,而上限函数等于一个组合的求和形式∑k−1i= ...
- 【林轩田】机器学习基石(七)——VC维
Lecture 7: VC Dimension VC维 ppt video 7.1 Definition of VC Dimension VC维的定义 复习1 上节课,林教授讲到了,当样本NNN足够大 ...
- 深入学习理论:VC维(VC dimensions)
统计学习的目标 在统计学习中,我们可以用两个式子来描述学习的目标.对于我们所学习的模型,希望存在一个很小的正数,满足下面式子: 其中,是我们学习的模型,是模型的期望损失,是模型的经验损失. 这两个式子 ...
最新文章
- Python中urllib2总结
- ApacheBench-web性能测试
- [J2ME]Nokia播放音乐时发生MediaException的解决办法
- php 冒泡置顶,浅谈php冒泡的排序
- 一生一世高圆圆经典台词
- 黑胡桃木php,揭秘美国黑胡桃木的美
- 计算机考研408每日一题 day19
- iredmail mysql_centos 7搭建邮件服务器iRedMail
- 华为android手机root,华为手机root权限获取教程
- 超好用的mac虚拟机软件:VM虚拟机 mac中文版
- Windows 7操作系统
- XP系统无法访问\\192.168.1.104无法访问。你可能没有权限使用网络资源。与这台服务器的管理员联系以查明你是否有访问权限
- PDO介绍[不包括具体使用方法]
- 有赞 html模板,有赞的微商城可视化编辑是如何做到的?
- sulley对Modbus协议fuzz实验
- 嵌入式应用-详解移植并使用freetype显示文字
- 苹果笔记本电脑运行win系统时温度过高解决办法
- 时间轴-新年倒计时(实操java)
- 李亚普洛夫稳定、一致稳定、一致渐近稳定、局部渐近稳定、全局渐近稳定区分
- 程序员副业之无货源闲鱼