Vapnik-Chervonenkis Dimension 理解

Vapnik-Chervonenkis定义：

1）对一个指标函数集，如果存在h 个样本能够被函数集中的函数按所有可能的2^h种形式分开，则称函数集能够把h个样本打散。

2）函数集的VC维就是它能打散的最大样本数目h。

3）若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义。

理解：

故有这样的结论，平面内只能找到3个点能被直线打散而不找到第4个。

1）平面内只能找到3个点能被直线打散：直线只能把一堆点分成两堆，对于3个点，要分成两堆加上顺序就有2³种。其中A、B、C表示3个点，+1，-1表示堆的类别， {A→-1,BC→+1}表示A分在标号为-1的那堆，B和C分在标号为+1的那堆。这就是一种分发。以此类推。则有如下8种分法：

{A→-1,BC→+1}，{A→+1,BC→-1}

{B→-1,AC→+1}，{B→+1,BC→-1}

{C→-1,AB→+1}，{C→+1,BC→-1}

{ABC→-1}，{ABC→+1}

2）找不到4个点。假设有，则应该有2⁴=16分法，但是把四个点分成两堆有：一堆一个点另一对三个点（1，3）；两两均分（2，2）；一堆四个另一堆没有（0，4）三种情况。对于第一种情况，4个点可分别做一次一个一堆的，加上顺序就有8种：

{A→-1,BCD→+1}，{A→+1,BCD→-1}

{B→-1,ACD→+1}，{B→+1,ACD→-1}

{C→-1,ABD→+1}，{C→+1,ABD→-1}

{D→-1,ABC→+1}，{D→+1,ABC→-1}；

对于第二种情况有 4 种：

{AB→-1,CD→+1}，{AB→+1,CD→-1}

{AC→-1,BD→+1}，{AC→+1,BD→-1}

其中，下面这种情况不存在，因为处在对角线上的点无法被之间划到一个区间而不包含其他点：

{AD→-1,BC→+1}，{AD→+1,BC→-1}

没有一条直线能使AD在一堆，BC在一堆，因为A、D处在对角线位置，B、C处在对角线位置。（这是我直观在图上找出来的）

对于第三种情况有2种；

{ABCD→-1}

{ABCD→+1}

所以总共加起来只有8+4+2=14种分法，不满足2⁴=16分法，所以平面找不到4个点能被直线打散。

Vapnik-Chervonenkis Dimension 理解相关推荐

VC维的来龙去脉(转)
目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Funct ...
VC维与DNN的Boundary
原文链接:解读机器学习基础概念:VC维来去作者:vincentyao 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effecti ...
专访微软Greg Yang，构建神经网络的底层语言，探索AI的“万物理论”
来源:智源社区为了进一步解读这一工作背后的意义,智源社区采访了论文一作.微软研究院高级研究员Greg Yang(杨格).采访中,我们不仅了解了µTransfer的背景,以及项目背后更为远大的目标,也 ...
VC维的来龙去脉 | 火光摇曳
转载地址:http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E% ...
对抗性攻击的原理简介
来源:Deephub Imba 本文约2200字,建议阅读5分钟本文介绍了对抗性攻击的原理. 由于机器学习算法的输入形式是一种数值型向量(numeric vectors),所以攻击者就会通过设计一种 ...
文献综述--------山东某地区基于深度学习神经网络的配电网负荷预测研究
摘要:地区电网负荷预测是供电企业在电网建设.运营过程中一项十分要的基础性的工作.小到一个企业的负荷预测,大到全国性电网的负荷预测研究,它的应用结果都会对适用范围内的企业经营管理.电力设施(电网)的 ...
支持向量机之超平面理解
支持向量机(SVM,也叫支持向量网络),是在分类与回归分析中分析数据的监督式学习模型与相关的学习算法.是由Vapnik与同事(Boser等,1992:Guyon等,1993:Vapnik等,1997) ...
独家 | 计算学习理论简介（附资源推荐）
作者:Jason Brownlee 翻译:陈超校对:王琦本文长度为3600字,建议阅读10+分钟本文为大家介绍了如何使用计算学习理论研究机器学习任务和方法,并对其中比较重要的子领域PAC学习以及 ...
独家 | 如何解决深度学习泛化理论
作者:Dmytrii S. 翻译:陈之炎校对:卢苗苗本文共2360字,建议阅读5分钟. 本文与大家讨论深度学习泛化理论中的一些经验并试图对它做出解释. 我们可以从最新的关于深度学习"炼金 ...
图灵奖评委们，明年可以考虑下这两位 AI 先驱
雷锋网 AI 科技评论:昨日毫无疑问是振奋人心的一天,深度学习界的 3 位「巨头」齐齐获得计算机界最高荣誉「图灵奖」,这里再次祝贺 Yoshua Bengio. Yann LeCun 以及 Geoff ...

Vapnik-Chervonenkis Dimension 理解

Vapnik-Chervonenkis Dimension 理解相关推荐

最新文章

热门文章