几何间隔、函数间隔和||W||

SVM是通过超平面将样本分为两类。

在超平面 $w\cdot x+b=0$ 确定的情况下， $|w\cdot x+b|$ 可以相对地表示点 $x$ 距离超平面的远近。对于两类分类问题，如果 $w\cdot x+b>0$ ，则 $x$ 的类别被判定为1；否则判定为-1。

所以如果 $y(w\cdot x+b)>0$ ，则认为 $x$ 的分类结果是正确的，否则是错误的。且 $y(w\cdot x+b)$ 的值越大，分类结果的确信度越大。反之亦然。

所以样本点 $(x_{i}, y_{i})$ 与超平面 $(w, b)$ 之间的函数间隔定义为
$\gamma_{i} = y_{i} (w\cdot x_{i} + b)$

但是该定义存在问题：即 $w$ 和 $b$ 同时缩小或放大M倍后，超平面并没有变化，但是函数间隔却变化了。所以，需要将 $w$ 的大小固定，如 $||w||=1$ ，使得函数间隔固定。这时的间隔也就是几何间隔。

几何间隔的定义如下
$\gamma_{i} = y_{i} (\frac{w}{||w||}\cdot x_{i} + \frac{b}{||w||})$

实际上，几何间隔就是点到超平面的距离。想像下中学学习的点 $(x_i, y_i)$ 到直线 $ax+by+c=0$ 的距离公式
$d(x_i, y_i) = \frac{|ax_i+by_i+c|}{\sqrt{a^2+b^2}}$
所以在二维空间中，几何间隔就是点到直线的距离。在三维及以上空间中，就是点到超平面的距离。而函数距离，就是上述距离公式中的分子，即未归一化的距离。

定义训练集到超平面的最小几何间隔是
$\gamma = min_{i=1,...,n} \gamma_{i}$

SVM训练分类器的方法是寻找到超平面，使正负样本在超平面的两侧，且样本到超平面的几何间隔最大。
所以SVM可以表述为求解下列优化问题
$\underset{w, b}{max} \;\;\;\;\;\; \gamma$
$s.t. \;\;\; y_{i} (\frac{w}{||w||}\cdot x_{i} + \frac{b}{||w||})\geq \gamma$

以上内容在《统计学习方法》中，均有详细的讲解。

作者：Jason Gu
链接：https://www.zhihu.com/question/20466147/answer/28469993

几何间隔、函数间隔和||W||相关推荐

1.2 函数间隔和几何间隔理解2
转载地址: https://www.zhihu.com/question/20466147 SVM是通过超平面将样本分为两类. 在超平面 w*x + b = 0 确定的情况下,| w*x + b ...
1.1 函数间隔和几何间隔理解1
转载地址: https://www.jianshu.com/p/2e3c0c583e85 1.函数间隔我们的函数间隔定义为: 可以看到,函数间隔其实就是类别标签乘上了f(x)的值,可以看到,该值永远 ...
【机器学习】SVM中对函数间隔和几何间隔的理解
超平面表达式: 函数间隔 : 对于在超平面上的点, w x + b = 0 wx+b=0 wx+b=0 恒成立.而超平面之外的点,可以认为距离越远, w x + b wx+b wx+b 的绝对值越大, ...
支持向量机（一）——深入理解函数间隔与几何间隔
1.支持向量机和logistic函数的有什么区别实践发现,在所给的例子中,两种方法线性划分两类事物时得到的线性分类器的效果差不多.那具体的差别在哪呢? SVM更关心的是靠近中间分割线的点,让他们尽可 ...
SVM中函数间隔和几何间隔的区别
1.用|w∗x+b|表示点x到超平面0的距离远近,(w∗x+b)∗y表示分类的正确性以及确信度. 2.在二分类问题里,如果(w∗x+b)>0,则x的类别被判定为1:如果(w∗x+b)<0, ...
SVM函数间隔和几何间隔
刚开始接触SVM,遇到函数间隔和几何间隔,对这2个概念有点混肴,查阅一些资料后有点明白了. 函数间隔: 并不是实际意义上的点到超平面的距离,只是表示点到超平面的远近. 比如平面方程1:3x1 + 6x ...
UA PHYS515 电磁理论II 静电场问题2 电荷与静电场的几何: Green函数法的物理背景
UA PHYS515 电磁理论II 静电场问题2 电荷与静电场的几何: Green函数法的物理背景单个电荷形成的静电场 Green函数的一些数学结果 Green恒等式与Green定理 Green定理 ...
C语言试题二十四之编写一个函数unsigned function(unsigned w),w使一个大于10的无符号整数，若w是n(n≥2)位的整数，则函数求出w后n－1位的数作为函数值返回。
1. 题目请编写一个函数unsigned function(unsigned w),w使一个大于10的无符号整数,若w是n(n≥2)位的整数,则函数求出w后n-1位的数作为函数值返回. 比如:w是1 ...
Halcon基于形状的几何定位函数说明
Halcon基于形状的几何定位函数说明 1. create_shape_model(Template: : //reduce_domain后的模板图像 NumLevels,//金字塔的层数,可设为&q ...

几何间隔、函数间隔和||W||

几何间隔、函数间隔和||W||相关推荐

最新文章

热门文章