支持向量机中的函数距离的理解

作者：Jason Gu
链接：https://www.zhihu.com/question/20466147/answer/28469993
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

SVM是通过超平面将样本分为两类。
在超平面 $w\cdot x+b=0$ 确定的情况下， $|w\cdot x+b|$ 可以相对地表示点 $x$ 距离超平面的远近。对于两类分类问题，如果 $w\cdot x+b>0$ ，则 $x$ 的类别被判定为1；否则判定为-1。

所以如果 $y(w\cdot x+b)>0$ ，则认为 $x$ 的分类结果是正确的，否则是错误的。且 $y(w\cdot x+b)$ 的值越大，分类结果的确信度越大。反之亦然。

所以样本点 $(x_{i}, y_{i})$ 与超平面 $(w, b)$ 之间的函数间隔定义为
$\gamma_{i} = y_{i} (w\cdot x_{i} + b)$

但是该定义存在问题：即 $w$ 和 $b$ 同时缩小或放大M倍后，超平面并没有变化，但是函数间隔却变化了。所以，需要将 $w$ 的大小固定，如 $||w||=1$ ，使得函数间隔固定。这时的间隔也就是几何间隔。

几何间隔的定义如下
$\gamma_{i} = y_{i} (\frac{w}{||w||}\cdot x_{i} + \frac{b}{||w||})$

实际上，几何间隔就是点到超平面的距离。想像下中学学习的点 $(x_i, y_i)$ 到直线 $ax+by+c=0$ 的距离公式
$d(x_i, y_i) = \frac{|ax_i+by_i+c|}{\sqrt{a^2+b^2}}$
所以在二维空间中，几何间隔就是点到直线的距离。在三维及以上空间中，就是点到超平面的距离。而函数距离，就是上述距离公式中的分子，即未归一化的距离。

定义训练集到超平面的最小几何间隔是
$\gamma = min_{i=1,...,n} \gamma_{i}$

SVM训练分类器的方法是寻找到超平面，使正负样本在超平面的两侧，且样本到超平面的几何间隔最大。
所以SVM可以表述为求解下列优化问题
$\underset{w, b}{max} \;\;\;\;\;\; \gamma$
$s.t. \;\;\; y_{i} (\frac{w}{||w||}\cdot x_{i} + \frac{b}{||w||})\geq \gamma$

以上内容在《统计学习方法》中，均有详细的讲解。

看到LZ在某评论中说《统计学习方法》详细的看不下去，多说一句。我个人认为这本书是非常容易上手的教材了，很多内容讲解的清晰又不啰嗦，至少比看很多英文原版轻松很多。而网络上很多博客的讲解，又过于散乱。想要深入的学习，还是得看书。

支持向量机中的函数距离的理解相关推荐

Makefile中wildcard函数的应用理解
文章目录前言 1 "*"通配符使用场景 2 "*"通配符实例总结前言如果我们想定义一系列比较类似的文件,我们很自然地就想起使用通配符.make 支持三种 ...
支持向量机中高斯核函数的直观理解
这一文章主要讲述高斯核函数的直观理解,并不会涉及支持向量机代价函数及最优化的问题. 什么是高斯核函数? 在支持向量机中它是一个用来构造非线性边界的核函数. 高斯核函数的定义: 这个函数说白了,就是点X ...
C++多态中虚函数的深入理解
c++中动态多态性是通过虚函数来实现的.静态多态性是通过函数的重载来实现的,在程序运行前的一种早绑定,动态多态性则是程序运行过程中的一种后绑定.根据下面的例子进行说明. #include <io ...
java js中 function函数报错_浅析JS中对函数function的理解(基础篇)
正文:我们知道,在js中,函数实际上是一个对象,每个函数都是Function类型的实例,并且都与其他引用类型一样具有属性和方法.因此,函数名实际上是指向函数对象的指针,不与某个函数绑定.在常见的两种定 ...
torch中repeat()函数的准确理解
pytorch中,repeat()这个函数的功能是很容易理解的,但是函数在不同参数下的执行逻辑通常还是会让初次接触的同学有点疑惑,今天仔细想了一下,感觉可以以这样的方式去理解: import torc ...
如何理解python中的函数_如何理解“python中函数是一等公民”？
python.js.scala等支持函数式编程的语言中,是如何体现"函数是一等公民(first class)"的?而在c/c++.java等静态语言中的一等公民又是什么?如何体现的 ...
Pytorch中gather函数的个人理解方法
之前一直理解不了Pytorch中gather的用法,看了官方的文档也是一头雾水.然后自己琢磨,找规律,用以下方法进行理解. 一.官方文档 torch.gather(input, dim, index, ...
matlab的ln函数表示,r软件中ln函数 r语言ln函数
你对R软件中 rnorm函数是怎么理解的? rnorm(n, mean = 0, sd = 1)n 为产生随机值个数(长度),mean 是平均数, sd 是标准差 . 使用该函数的时候后,一般要赋 ...
计算机函数模式的用处是啥,请问怎么理解计算机中的函数？
你的理解有点外行看热闹的意思,呵呵. 代码本身就是抽象的,所以"计算机中的函数是一种对代码进行抽象的方式"不能说不对,但是也和没说一样.至于"我们使用抽象出来的函数,而不 ...

支持向量机中的函数距离的理解

支持向量机中的函数距离的理解相关推荐

最新文章

热门文章