SVM支持向量机原理详解

支持向量机SVM(Support Vector Machine)

1.解决问题思路展开

*要解决的问题：什么样的决策边界才是最好的？
*特征数据本身如果就很难分，该怎么办？
*计算负责度怎么样？能否实际应用？

==>目标：基于上述问题对SVM进行推导

1.1决策边界

右图中的决策边界更具容忍度，更加可靠

1.2 通过距离获得决策边界（求取点到面的距离）

通过平面上两点可以得到平面的法向量，进而获得与法相量平行的单位方向向量，通过平面外一点X到平面上一点x’的距离D在单位方向向量的投影可以求出距离d，其中，D乘以单位向量为与图中dist重合的向量，取其模即为距离d，计算公式如下：

1.3 数据标签定义，SVM为一种有监督算法

1.4 目标函数推导

中间涉及缩放、极大值与极小值相互转换、对偶性(了解即可)

2.目标函数推导过程

2.1 拉格朗日乘子法求解

先求出alpha，进而求出w和b

2.2 化简最终目标函数

2.3 举例求解决策方程

3. SVM特色

3.1 软间隔优化

边界上所有alpha不为零的点成为支持向量，非边界上的点的alpha值必为零，恒成立

有噪点加入时，引入软间隔~

3.2 核函数（低维->高维）

通过核函数将低维数据映射到高维空间

多数情况下大都用高斯核函数：将原始特征映射成高斯空间中的距离特征

先这样吧，代码后续更新呢

参考：
B站唐博士带你学AI：一小时快速理解SVM原理

SVM支持向量机原理详解相关推荐

SVM -支持向量机原理详解与实践之五
SVM -支持向量机原理详解与实践之四 SVM原理分析 SMO算法分析 SMO即Sequential minmal optimization, 是最快的二次规划的优化算法,特使对线性SVM和稀疏数据性 ...
SVM分类器原理详解
SVM分类器原理详解标签: svm文本分类java 2015-08-21 11:51 2399人阅读评论(0) 收藏举报分类: 数据挖掘文本处理(16) 机器学习分类算法(10) 目 ...
SVM（support vector machine）支持向量机原理详解
SVM是什么? SVM - support vector machine, 俗称支持向量机,为一种supervised learning算法,属于classification的范畴. 在数据挖掘的应用 ...
SVM算法原理详解及python实现
SVM算法算法原理对数据的要求算法的优缺点算法需要注意的点算法实现(python)(待更.........) 算法原理 {wTx+b>0yi=1⟺y(xi)>0wTx+b< ...
SVM-支持向量机原理详解与实践之一
SVM-支持向量机原理详解与实践前言去年由于工作项目的需要实际运用到了SVM和ANN算法,也就是支持向量机和人工神经网络算法,主要是实现项目中的实时采集图片(工业高速摄像头采集)的图像识别的这一部 ...
SVM-支持向量机原理详解与实践之三
SVM-支持向量机原理详解与实践之二 SVM原理分析以下内容接上篇. 拉格朗日对偶性(Largrange duality)深入分析前面提到了支持向量机的凸优化问题中拉格朗日对偶性的重要性. 因为通 ...
机器学习，深度学习基础算法原理详解（图的搜索、交叉验证、PAC框架、VC-维（持续更新））
机器学习,深度学习基础算法原理详解(图的搜索.交叉验证.PAC框架.VC-维.支持向量机.核方法(持续更新)) 机器学习,深度学习基础算法原理详解(数据结构部分(持续更新)) 文章目录 1. 图的搜索 ...
[数据挖掘之scikit-learn] sklean.svm 分类器实例详解
文章目录概述 1. sklearn.svm分类器 1.1 sklearn.svm.SVC 1.2 sklearn.svm.NuSVC 1.3 sklearn.svm.LinearSVC 1.4 SV ...
SVM-支持向量机原理详解与实践之四
SVM-支持向量机原理详解与实践之三 SVM原理分析核函数与核技巧什么是核什么是核,核其实就是一种特殊的函数,更确切的说是核技巧(Kernel trick),清楚的明白这一点很重要. 为什么说是 ...
【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理(1)
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可 ...