1.SVM

支持向量机的的学习策略就是间隔最大化，可形式化为一个求解凸二次规划的问题，也等价于正则化的合业损失函数的最小化问题。

给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi $\epsilon$ {-1,+1},分类学习的最基本想法基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。

样本空间中，划分超平面可通过如下线性方程来描述：

$\omega$ x+b=0（ $\omega$ 为法向量，b为位移项）

样本空间任意点x到超平面（ $\omega$ ，b）的距离可写为

r=| $\omega$ x+b| / || $\omega$ ||

Correctly classify all data points:

$\left\{\begin{matrix} \omega x_{i}+b\geqslant 1 & if & y_{i}=+1\\ \omega x_{i}+b\leqslant 1& if& y_{I}=-1 \end{matrix}\right.$

$\Rightarrow$ $y_{i}(\omega x_{i}+b)-1\geqslant 0$

如下图，距离超平面最近的几个点使得等式成立，称其为支持向量，两个异类支持向量到超平面的距离之和为

$\gamma =\frac{2}{\left \| \omega \right \|}$

$\rightarrow$ Margins

接下来Maximize the Margins

$maxM\frac{2}{\left \| \omega \right \|}\Rightarrow min\frac{1}{2}\omega ^{T}\omega$

Quadratic Optimization Problem

Minimize $\Phi (\omega )=\frac{1}{2}\omega^{t}\omega$
Subject to $y_{i}(\omega x_{i}+b)\geqslant 1$

$\omega$ 与b的求解可对上述式子使用拉格朗日乘子法得到其“对偶问题”求解，在此不做过多讲述（最终模型只与支持向量有关）。

注：对于训练样本非线性可分，就需要将样本映射到一个更高维的特征空间，使得样本在这个特征空间中线性可分，但是高维同时也意味着计算量的急剧提升，所以引入了核函数，将高维问题通过数学技巧在低维解决，事实上只要一个对称函数所对应的核矩阵半正定，他就能作为核函数使用。

2.LSSVM-最小二乘支持向量机

2.1最小二乘法

通过最小化误差的平方和，使得拟合对象无限接近目标对象

拟合的前提：

N个point{(x1,y1),(x2,y2),...(xm,ym)};
确定目标，即我们想把这些点拟合成什么样的特征即函数f（x,a1,a2,...am)；
要确定此函数就需要知道函数中的参数a1,a2,...,am

求参的过程就是拟合的过程。

拟合满足的条件： $\sum_{i=1}^{N }r_{i}^{2}=\sum_{i=1}^{N}[f(x_{i},\alpha _{1},\alpha_{2},...,\alpha_{n})-y_{i}]^{2}=min$

对任意函数f的通用解法

列出损失函数 $E=\sum_{i=1}^{n}e_{i}^{2}=\sum_{i=1}^{n}(y_{I}-\hat{y})^{2}$
根据损失函数对参数应用多元函数的求极值方法，直接求解函数最小值。而更常见的方法即是将损失函数

支持向量机---SVM 最小二乘支持向量机---LSSVM相关推荐
1. OpenCV之ml 模块. 机器学习：支持向量机(SVM)介绍支持向量机对线性不可分数据的处理
  支持向量机(SVM)介绍目标本文档尝试解答如下问题: 如何使用OpenCV函数 CvSVM::train 训练一个SVM分类器, 以及用 CvSVM::predict 测试训练结果. 什么是支持向 ...
2. OpenCV支持向量机SVM简介
  OpenCV支持向量机SVM简介支持向量机SVM简介目标什么是SVM? 最佳超平面如何计算? 源代码解释设置训练数据设置SVM的参数由SVM分类的区域支持向量结果支持向量机SVM简 ...
3. 6.支持向量机（SVM）、什么是SVM、支持向量机基本原理与思想、基本原理、课程中关于SVM介绍
  6.支持向量机(SVM) 6.1.什么是SVM 6.2.支持向量机基本原理与思想 6.2.1.支持向量机 6.2.2.基本原理 6.3.课程中关于SVM介绍 6.支持向量机(SVM) 6.1.什么是S ...
4. 支持向量机SVM算法
  支持向量机SVM 目录支持向量机SVM 1.支持向量机原理 2.如何找出边际最大的决策边界 3.拉格朗日乘数 4.非线性SVM与核函数 5.示例支持向量机(SVM,也称支持向量网络),是机器学习中 ...
5. 支持向量机SVM原理解析
  支持向量机(SVM) 支持向量机(support vector machine,SVM)使用训练集中的一个子集来表示决策边界,边界用于样本分类,这个子集称作支持向量(support vector). ...
6. 果蝇算法优化极限学习机，支持向量机最小二乘支持向量机，分类，预测。FOA ELM SVM LSSVM。
  果蝇算法优化极限学习机,支持向量机最小二乘支持向量机,分类 ,预测.FOA ELM SVM LSSVM.
7. 【LSSVM回归预测】基于matlab人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测【含Matlab源码 2213期】
  ⛄一.人工蜂群算法优化最小二乘支持向量机LSSVM简介 1 最小二乘支持向量机最小二乘支持向量机是支持向量机的一种改进算法[9,10],它将SVM算法中的不等式约束转化为等式约束,采用最小二乘线性系 ...
8. 【LSSVM回归预测】人工蜂群算法优化最小二乘支持向量机LSSVM数据回归预测【含Matlab源码 2213期】
  ⛄一.人工蜂群算法优化最小二乘支持向量机LSSVM简介 1 最小二乘支持向量机最小二乘支持向量机是支持向量机的一种改进算法[9,10],它将SVM算法中的不等式约束转化为等式约束,采用最小二乘线性系 ...
9. 【回归预测-lssvm分类】基于最小二乘支持向量机lssvm实现数据分类代码
  1 内容介绍在信息爆炸的新时代,由于全球科技与经济迅猛发展,数据充斥在各行各业,数据的结构也变得多样化.其中对于数据的分类最常见,伴随着数据分类的同时出现两大处理难点,一个是非均衡问题,另一个就是高 ...
10. 最小二乘支持向量机（LSSVM）简述
  最小二乘支持向量机简述前言:偶然间看过July的<支持向量机通俗导论>,受益良多,出于兴趣又看了一些LSSVM(最小二乘支持向量机)的相关文献,在这儿随便贴一点. 正文:首先,关于支持向 ...
最新文章
热门文章

支持向量机---SVM 最小二乘支持向量机---LSSVM