对于很多分类问题,例如最简单的,一个平面上的两类不同的点,如何将它用一条直线分开?在平面上我们可能无法实现,但是如果通过某种映射,将这些点映射到其它空间(比如说球面上等),我们有可能在另外一个空间中很容易找到这样一条所谓的“分隔线”,将这些点分开。
SVM基本上就是这样的原理,但是SVM本身比较复杂,因为它不仅仅是应用于平面内点的分类问题。SVM的一般做法是:将所有待分类的点映射到“高维空间”,然后在高维空间中找到一个能将这些点分开的“超平面”,这在理论上是被完全证明了是成立的,而且在实际计算中也是可行的。
但是仅仅找到超平面是不够的,因为在通常的情况下,满足条件的“超平面”的个数不是唯一的。SVM需要的是利用这些超平面,找到这两类点之间的“最大间隔”。为什么要找到最大间隔呢?我想这与SVM的“推广能力”有关,因为分类间隔越大,对于未知点的判断会越准确,也可以说是“最大分类间隔”决定了“期望风险”,总结起来就是:SVM要求分类间隔最大,实际上是对推广能力的控制。
我想说到SVM的基本原理,有两个概念不能不提到,一个就是上面说到的“最大分类间隔面”,另一个是关于“VC”的概念。最大分类间隔面比较好懂,从字面上也能知道它的大致含义。但是VC维的概念,我有必要在这里着重说一下。
VC维(Vapnik-Chervonenkis Dimension)的概念是为了研究学习过程一致收敛的速度和推广性,由统计学习理论定义的有关函数集学习性能的一个重要指标。
传统的定义是:对一个指标函数集,如果存在H个样本能够被函数集中的函数按所有可能的2的K次方种形式分开,则称函数集能够把H个样本打散;函数集的VC维就是它能打散的最大样本数目H。若对任意数目的样本都有函数能将它们打散,则函数集的VC维是无穷大,有界实函数的VC维可以通过用一定的阀值将它转化成指示函数来定义。
VC维反映了函数集的学习能力,VC维越大则学习机器越复杂(容量越大),遗憾的是,目前尚没有通用的关于任意函数集VC维计算的理论,只对一些特殊的函数集知道其VC维。例如在N维空间中线形分类器和线形实函数的VC维是n+1。 

Vapnik-Chervonenkis相关推荐

  1. 对抗性攻击的原理简介

    来源:Deephub Imba 本文约2200字,建议阅读5分钟 本文介绍了对抗性攻击的原理. 由于机器学习算法的输入形式是一种数值型向量(numeric vectors),所以攻击者就会通过设计一种 ...

  2. 独家 | 计算学习理论简介(附资源推荐)

    作者:Jason Brownlee 翻译:陈超 校对:王琦 本文长度为3600字,建议阅读10+分钟 本文为大家介绍了如何使用计算学习理论研究机器学习任务和方法,并对其中比较重要的子领域PAC学习以及 ...

  3. 独家 | 如何解决深度学习泛化理论

    作者:Dmytrii S. 翻译:陈之炎 校对:卢苗苗 本文共2360字,建议阅读5分钟. 本文与大家讨论深度学习泛化理论中的一些经验并试图对它做出解释. 我们可以从最新的关于深度学习"炼金 ...

  4. VC维的来龙去脉(转)

    目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Funct ...

  5. VC维与DNN的Boundary

    原文链接:解读机器学习基础概念:VC维来去 作者:vincentyao 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effecti ...

  6. 专访微软Greg Yang,构建神经网络的底层语言,探索AI的“万物理论”

    来源:智源社区 为了进一步解读这一工作背后的意义,智源社区采访了论文一作.微软研究院高级研究员Greg Yang(杨格).采访中,我们不仅了解了µTransfer的背景,以及项目背后更为远大的目标,也 ...

  7. 机器学习术语中英对照表

    反向传播 BPTT Backpropagation Through Time 通过时间的反向传播 BN Batch Normalization 分批标准化 Bayesian network 贝叶斯网络 ...

  8. VC维的来龙去脉 | 火光摇曳

    转载地址:http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E% ...

  9. 图灵奖评委们,明年可以考虑下这两位 AI 先驱

    雷锋网 AI 科技评论:昨日毫无疑问是振奋人心的一天,深度学习界的 3 位「巨头」齐齐获得计算机界最高荣誉「图灵奖」,这里再次祝贺 Yoshua Bengio. Yann LeCun 以及 Geoff ...

  10. ICLR2018_mixup: Beyond Empirical Risk Minimization

    作者 Hongyi Zhang 张宏毅 @ 张宏毅知乎      北大->MIT    论文所属FAIR Abstract 深度神经网络有些不好的行为:强记忆和对对抗样本敏感 Christian ...

最新文章

  1. 干货丨卷积神经网络工作原理的直观解释
  2. python程序默认执行与多线程
  3. 皮一皮:现在的妹子这么好骗?还是在下脸皮太薄了...
  4. vs2012无法启动已配置的开发Web服务器
  5. uva1331三角剖分
  6. spark的流失计算模型_使用spark对sparkify的流失预测
  7. openlayers基础系列教程(一)
  8. [导入]给老家新楼的对联
  9. Fatal error in launcher: Unable to create process using 'd:\bld\scrapy_1584555997548\_h_env\python.
  10. html在p中加空格,HTML基础 p 多个空格和换行都算一个空格
  11. [网络安全自学篇] 六十.Cracer第八期——(2)五万字总结Linux基础知识和常用渗透命令
  12. 今晚直播 | 手把手带你用 Three.js 实现粒子特效,走入 3D 世界!
  13. 在网站上营销品牌故事的六种简单方法
  14. 杜撰——深圳市贝力公司电子商务方案
  15. 我酸了,曝光几个腾讯 阿里P8前同事的副业收入
  16. JVM之常用的字节码指令(基于《深入理解Java虚拟机》之第六章类文件结构)(下)
  17. Holt指数平滑和Holt-Winters指数平滑
  18. 温莎计算机应用硕士是针对国际学生的吗,专业推荐 | 加拿大留学,温莎大学英语计算机专业了解一下...
  19. 程序员的双肩包,大概能装下整个宇宙!
  20. 如何用电脑画平面坐标图_如何画平面直角坐标系

热门文章

  1. 数学建模学习笔记(三十一)模糊评价法
  2. 【JSP】 # JSP入门及简单概述
  3. matlab编译桁架有限元计算(附有完整代码)
  4. 华为电脑管家最新(11.1.1.95)版安装教程(适合 未安装| 补充说明)
  5. 【数据采集】-目前比较流行的几种数据采集方式
  6. python英文分词统计词频_Python 分词并统计词频
  7. 综合布线系统计算机网络,综合布线 计算机网络系统
  8. nrf52840 内部 flash 结构
  9. 在Vue中使用Aliplayer,做视频播放或者视频监控
  10. 将图片url转换成 BufferedImage