支持向量机——Large Margin Classifier

支持向量机的目标是

\[\underbrace {\min }_\theta \left\{ {C\left[ {\sum\limits_{i = 1}^m {{y^{\left( i \right)}}{\mathop{\rm Cos}\nolimits} {t_1}\left( {{\theta ^T}{x^{\left( i \right)}}} \right) + \left( {1 - {y^{\left( i \right)}}} \right){\mathop{\rm Cos}\nolimits} {t_0}\left( {{\theta ^T}{x^{\left( i \right)}}} \right)} } \right] + \frac{1}{2}\sum\limits_{j = 1}^n {\theta _j^2} } \right\}\]

下图分别是Cost₁(z)和Cost₀(z)的示意图

如果y=1，我们想要θ^Tx≥1（而不仅仅是θ^Tx≥0）

如果y=0，我们想要θ^Tx≤-1（而不仅仅是θ^Tx<0）

接下来考虑一种情况，当把式子中的C设置的非常大时

支持向量机为达到最小化的目的会试图将式子的第一部分（除了C）变得很小。

当y⁽ⁱ⁾=1时，得到的θ会使得θ^Tx≥1

当y⁽ⁱ⁾=0时，得到的θ会使得θ^Tx<-1

这样就会得到一个“比较有意思”的“decision boundary”。对于如下分类问题

算法可以得到“蓝线”和“橙线”的分界线，也可以得到“黑色”分界线，支持向量机会得到黑色的线。

如果两条黑色虚线代表不同类的边界的话，支持向量机会得到距离两条虚线尽量远的一条直线。

需要注意的点

对于下面的分类问题，正常情况下应该得到蓝色的直线。

但是，当C非常大时，支持向量机会得到黄色的直线，因为它会得到距离两个类尽量远的直线。

如果取得C适当，支持向量机仍然会得到蓝色的先，即使出现非线性可分的情况（右侧红五角星）。

转载于:https://www.cnblogs.com/qkloveslife/p/9897986.html

支持向量机——Large Margin Classifier相关推荐

支持向量机: Maximum Margin Classifier
by pluskid, on 2010-09-08, in Machine Learning http://blog.pluskid.org/?p=632 本文是"支持向量机系列" ...
支持向量机_1: Maximum Margin Classifier
支持向量机即 Support Vector Machine,简称 SVM .我最开始听说这头机器的名号的时候,一种神秘感就油然而生,似乎把 Support 这么一个具体的动作和 Vector 这么一个 ...
CosFace:Large Margin Cosine Loss
<CosFace: Large Margin Cosine Loss for Deep Face Recognition> 2018,Hao Wang et al. Tencent AI ...
人脸识别-Loss-2018：Large Margin Cosine Loss（CosFace）【SphereFace只对W归一化，CosFace对W、X都归一化】【在余弦空间中最大化分类界限】
<原始论文:CosFace: Large Margin Cosine Loss for Deep Face Recognition> <原始论文:Additive Margin So ...
人脸识别-Loss-2016：Large Margin Softmax Loss【Margin：角度分类边界之间的空白角度区域】【增大Margin来提高分类精度】【缺陷：无法处理W_i≠W_j的情况】
尽管传统的softmax在卷积网络作为最常用的监督学习组件,但是他不能促进判别性强的特征的学习,在这篇论文里面首先提出一种基于Margin的L-Softmax损失函数,可以明确地促使学习到的特征具有类 ...
Large Margin Partial Label Machine
大幅面局部贴标机摘要-部分标签学习(PLL)是一个多类弱监督学习问题,其中每个训练实例与一组候选标签关联,但只有一个标签是基本真理.PLL的主要挑战是如何处理标签歧义.在各种消歧技术中,基于大幅度( ...
[吴恩达机器学习笔记]12支持向量机2 SVM的正则化参数和决策间距
12.支持向量机觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考资料斯坦福大学 2014 机器学习教程中文笔记 by 黄海广 12.2 大间距的直观理解- Large Margin I ...
吴恩达|机器学习作业6.0支持向量机(SVM)
6.0.支持向量机 1)题目: 在本练习中,您将使用支持向量机来建立一个垃圾邮件分类器. 在本练习的前半部分,您将使用支持向量机(SVM)处理各种两维的样本数据集.使用这些数据集进行实验将帮助您直观地 ...
Stanford机器学习---第八讲. 支持向量机SVM
本栏目(Machine learning)包括单参数的线性回归.多参数的线性回归.Octave Tutorial.Logistic Regression.Regularization.神经网络.机器学 ...

支持向量机——Large Margin Classifier

支持向量机——Large Margin Classifier相关推荐

最新文章

热门文章