VC维(Vapnik–Chervonenkis dimension)
1、简介
vc理论(Vapnik–Chervonenkis theory )是由 Vladimir Vapnik 和 Alexey Chervonenkis发明的。该理论试图从统计学的角度解释学习的过程。而VC维是VC理论中一个很重要的部分。
2、定义
定义:对一个指示函数集,如果存在h个样本能够被函数集中的函数按所有可能的 种形式分开,则称函数集能够把h个样本打散;函数集的VC维就是它能打散的最大样本数目h.若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大.
VC维反映了函数集的学习能力,VC维越大则学习机器越复杂(容量越大).学习能力越强。
故有这样的结论,平面内只能找到3个点能被直线打散而不找到第4个。
对于这个结论可以按如下方式理解:
(1)平面内只能找到3个点能被直线打散:直线只能把一堆点分成两堆,对于3个点,要分成两堆加上顺序就有23种。其中A、B、C表示3个点,+1,-1表示堆的类别, {A→-1,BC→+1}表示A分在标号为-1的那堆,B和C分在标号为+1的那堆。这就是一种分发。以此类推。则有如下8种分法:
{A→-1,BC→+1},{A→+1,BC→-1}
{B→-1,AC→+1},{B→+1,BC→-1}
{C→-1,AB→+1},{C→+1,BC→-1}
{ABC→-1},{ABC→+1}
(2)找不到4个点。假设有,则应该有24=16分法,但是把四个点分成两堆有:一堆一个点另一对三个点(1,3);两两均分(2,2);一堆四个另一堆没有(0,4)三种情况。对于第一种情况,4个点可分别做一次一个一堆的,加上顺序就有8种:
{A→-1,BCD→+1},{A→+1,BCD→-1}
{B→-1,ACD→+1},{B→+1,ACD→-1}
{C→-1,ABD→+1},{C→+1,ABD→-1}
{D→-1,ABC→+1},{D→+1,ABC→-1};
对于第二种情况有4种:
{AB→-1,CD→+1},{AB→+1,CD→-1}
{AC→-1,BD→+1},{AC→+1,BD→-1}
没有一条直线能使AD在一堆,BC在一堆,因为A、D处在对角线位置,B、C处在对角线位置。(这是我直观在图上找出来的)
对于第三种情况有2种;
{ABCD→-1}
{ABCD→+1}
所以总共加起来只有8+4+2=14种分法,不满足24=16分法,所以平面找不到4个点能被直线打散。
VC维(Vapnik–Chervonenkis dimension)相关推荐
- VC维的来龙去脉(转)
目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Funct ...
- VC维与DNN的Boundary
原文链接:解读机器学习基础概念:VC维来去 作者:vincentyao 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effecti ...
- VC维的来龙去脉 | 火光摇曳
转载地址:http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E% ...
- ML之VC维:VC维(Vapnik-Chervonenkis Dimension)理论的概述(衡量模型复杂度和预测能力的指标)的简介、案例理解之详细攻略
ML之VC维:VC维(Vapnik-Chervonenkis Dimension)理论的概述(衡量模型复杂度和预测能力的指标)的简介.案例理解之详细攻略 目录 VC维(Vapnik-Chervonen ...
- 详解机器学习中的VC维
机器学习中的经典算法SVM(支持向量机)最初是由前苏联数学家Vladimir Vapnik 和 Alexey Chervonenkis 在 1963年提出的.二人合作完成的另外一个之于机器学习的重要贡 ...
- what is VC维
1. 什么是VC维 VC维(Vapnik-Chervonenkis Dimension)的概念是为了研究学习过程一致收敛的速度和推广性,由统计学习理论定义的有关函数集学习性能的一个重要指标. 传统的定 ...
- 机器学习基础(五):计算学习理论(PAC学习、有限假设空间、VC维、Rademacher复杂度、稳定性)
5.计算学习理论 计算学习理论computational learning theory:研究关于机器学习的基础理论 几个常用不等式: 5.1 PAC学习 概率近似正确(PAC)Probably Ap ...
- 什么事SVM中的VC维
年 9 月 23 日 在机器学习里我们常常看到这样的说法:一般而言,VC维越大, 学习能力就越强,学习也越复杂:可以通过VC维计算学习风险的上界.但进一步对VC维的介绍却不多,例如,VC维是什么?如何 ...
- VC维(VC Dimension)
定义 VC Dimension:全称是Vapnik-Chervonenkis dimension.其用来衡量一个模型的复杂度,定义为:在该模型对应的空间中随机撒x点,然后对其中的每个点随机分配一个2类 ...
- 机器学习和数据挖掘(7):VC维
VC维 回顾与说明 如果一个假设空间存在突破点,则一定存在成长函数mH(N)m_{\mathcal H}(N)被某个上限函数B(N,k)B(N,k)所约束,而上限函数等于一个组合的求和形式∑k−1i= ...
最新文章
- Product Backlog:终极任务清单
- Dalvik中类的加载
- [BZOJ1355][Baltic2009]Radio Transmission
- C++之函数参数按引用传递
- nodejs中的exports和module.exports
- Android开发之PCM录音实时播放的实现方法 | 边录音边播放 |PCM录音播放无延迟 | 录音无杂音 | 录音无噪音
- 全球域名商解析新增保有量15强:爱名网落榜
- console.log打印值,颜色 - 解决篇
- linux内核input子系统解析,ARM Linux内核Input输入子系统浅解
- UI4(事件,手势)
- 001_02-python基础习题答案
- 关闭迅雷首页播放视频的方法
- 二叉搜索树前序序列转中序和后序
- 苹果开发者账号续费相关问题
- linux sed尾行符号,用sed流编辑器处理特殊符号
- 个人理财管理系统代码
- putty连接虚拟机服务器,SSH:putty通过SSH连接固定IP的虚拟机
- java五子棋技术路线_五子棋游戏程序设计(VB)
- Golang 等比例调整图片分辨率且用黑色补齐多余部分
- HCNP路由交换学习指南(第一章)学习笔记