机器学习笔记之十七——VC dimension
定义
VC维（外文名Vapnik-Chervonenkis Dimension）的概念是为了研究学习过程一致收敛的速度和推广性，由统计学理论定义的有关函数集学习性能的一个重要指标。
传统的定义是：对一个指示函数集，如果存在H个样本能够被函数集中的函数按所有可能的2的H次方种形式分开，则称函数集能够把H个样本打散；函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散，则函数集的VC维是无穷大，有界实函数的VC维可以通过用一定的阈值将它转化成指示函数来定义。
——百度百科
个人理解：VC维用来衡量模型的容量，或者说能够拟合多少个样本数据。
为什么需要VC维？
为学习器为什么work提供一个理论支撑。如感知机work的理论支持如下两条：
1.线性可分的数据通过PLA算法运行足够长的时间（T步骤足够大），则会找出一条可以正确分类的直线，使得样本中没有产生分错类的情况，即 
；
2.在训练样本和整个数据集都服从同一分布P的前提下，有VC限制保证了，在 
且训练样本N足够大时， 
。
VC维怎么计算？
对于一个只有两个样本点的平面，使用一条直线的感知机可以将这两个样本点分成四种结果：{(1,1),(1,-1),(-1,1),(-1,-1)}
对于一个只有三个样本点的平面，使用一条直线的感知机可以将三个样本点分成八种结果（除去三点同线的特殊情况）。
对于一个有四个样本点的平面，涉及到如下XOR问题，使用一条直线的感知机无法处理。
这是需要先提出一个概念，shatter——对于一个只有N个点的平面，可以使用model将样本点分成2的N次方个结果，称为shatter。
一个模型最大的可以shatter的样本集的数量N，称为模型的VC维。如感知机无法处理四个样本点的XOR问题，所以它可以shatter的最大样本数量维3，及VC维是3.
机器学习笔记之十七——VC dimension相关推荐
- 台湾大学林轩田机器学习基石课程学习笔记7 -- The VC Dimension
红色石头的个人网站:redstonewill.com 前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释.机器能够学习必须满足两个条件: 假设空间H的Size M是有限的,即当N足够大的时候, ...
- 吴恩达机器学习笔记（十七）-大规模机器学习
第十八章 大规模机器学习 学习大数据集 这一章中将讲述能够处理海量数据的算法. 思考:为什么要使用海量数据集呢?要知道获取高性能的机器学习系统途径是采用低偏差的学习算法,并用大数据进行训练. 这里拿之 ...
- 机器学习笔记（十七）——EM算法的推导
一.Jensen 不等式 在EM算法的推导过程中,用到了数学上的Jensen不等式,这里先来介绍一下. 若Ω是有限集合{x1,x2,-,xn}{x1,x2,-,xn}\{x_1,x_2,\ldots, ...
- 机器学习可行性与VC dimension
机器学习可行性 在银行评估贷款申请人的授信请求前,会进行风险评估.符合申请则通过,反之驳回.长时间的数据和申请使得银行从中找到了一些规律并开始learning,所以风险评估就是一个learning的过 ...
- 机器学习基石1（ML基本概念和VC dimension）
文章目录 一.什么是机器学习? 二.什么时候可以使用机器学习? 三.感知机perceptron 四.机器学习的输入形式 五.机器真的可以学习吗? 六.vc dimension 一.什么是机器学习? 其 ...
- 机器学习笔记：Transformer
1 传统Seq2Seq的不足 传统seq2seq 使用 bi-direction RNN,那么生成每个b的时候,对于输入的整个序列,模型都需要看过一遍. 问题在于,这样的用bi-direction R ...
- 机器学习笔记之深度信念网络(一)背景介绍与结构表示
机器学习笔记之深度信念网络--背景介绍与结构表示 引言 深度信念网络 场景构建 深度信念网络的联合概率分布 引言 从本节开始,将介绍深度信念网络. 深度信念网络 深度信念网络(Deep Belief ...
- 机器学习笔记之深度信念网络(二)模型构建思想(RBM叠加结构)
机器学习笔记之深度信念网络--模型构建思想 引言 回顾:深度信念网络的结构表示 解析RBM隐变量的先验概率 通过模型学习隐变量的先验概率 小插曲:杰森不等式(2023/1/11) 杰森不等式的数学证明 ...
- 深度学习入门笔记（十七）：深度学习的极限在哪？
欢迎关注WX公众号:[程序员管小亮] 专栏--深度学习入门笔记 声明 1)该文章整理自网上的大牛和机器学习专家无私奉献的资料,具体引用的资料请看参考文献. 2)本文仅供学术交流,非商用.所以每一部分具 ...
最新文章
- 教你打造 Android 中的 IOC 框架
- Activity的生命周期理解
- 1.1 函数间隔和几何间隔理解1
- oracle追加index,oracle add index
- signature=fa342ee2b7c3e3e9cba3f194df2d59ca,Date of Signature
- 基于socket的C语言编程,C语言实现的Socket编程
- linux ftp ssl客户端,Linux下ftp+ssl实现ftps-Go语言中文社区
- Git：add多个文件或者目录的方式
- iframe页面相互调用方法
- RCTF-2015-x_xor_md5
- 【评分】软件工程实践2017第一次作业-准备
- wireshark常用筛选命令
- java tiff 压缩,使用Java ImageIO进行Tiff压缩
- 算法（Java）——双指针
- mysql 别名排序没效果_除了会排序，你对ORDER BY的用法可能一无所知！
- js与数组有关的函数：splice()，concat()，slice()，unshift()
- http请求中文字符加解密
- 纯配置方式使用durid的数据库密码加密
- [PTA]实验11-1-7 藏头诗
- 阿里巴巴 淘宝 盈利模式