支持向量机SVM

SVM在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中

目标

找到一个超平面,使得它能够尽可能多的将两类数据点正确的分开,同时使分开的两类数据点距离分类面最远。

超平面

SVM考虑寻找一个满足分类要求的分割平面(超平面)，并使训练集中的点距离该分割平面尽可能地远，即寻找一个分割平面，使其两侧的空白区域(margin)最大。超平面是从n维到n-1维空间的一个映射子控空间

解决方案

解决方法:构造一个在约束条件下的优化问题,具体的说是一个约束二次规划问题(constrainedquadratic programing),求解该问题，得到分类器。
也就是说，为了找到最大间隔的划分超平面，也就是上面图上的r最大，也就是1/w最大，等价于最小化w**2。就这

非线性SVM

虽然线性SVM分类器是有效的，并且在许多情况下令人惊奇地工作，但是许多数据集是不能接近线性分离。处理非线性数据集的一个简单方法是添加更多的特征，例如多项式特征，有时这可以导致线性可分离的数据集。通过生成多项式特征，我们将具有一个新特征矩阵，该特征矩阵由具有小于或等于指定度数的特征的所有多项式组合组成。

核技术

这个不是核弹的核技术，就是将一个低维通过引入非线性映射把输入控件映射到一个高维的空间，使得数据可以在高维空间里线性可分。常用的就有高斯核。
如果原始空间是有限维，即属性有限，那么就一定存在一个高维特征空间可以使样本可分

LSSVM最小二乘支持向量机

LSSVM将SVM优化问题的非等式约束用等式约束替换。为了解决存在部分特异点的情况，给每一个样本引入误差变量ei,并在原始函数中加入误差变量的L2正则项,这样LSSVM的优化问题就转化为

其中λ为正则化参数。对于非线性可分的训练样本，可以将原始样本映射到更高维的线性可分的空间中
对比SVM：

在求解方式上一个是凸二次规划，一个是线性规划，从训练速度上来看最小二乘支持向量机优于支持向量机，当然支持向量机的解具有稀疏性，最小二乘支持向量机的解不具有稀疏性
采用损失函数的平方项代替支持向量机的不敏感损失函数，比如合页
约束不同，将带有松弛变量的不等式约束替换为包含误差变量ie 的等式约束问题。高维特征空间中式的优化问题涉及复杂运算，计算量大。因此通常将式转化为其对偶问题，并引入Lagrange 乘子进行求解
公式好多，不写了
存在的问题：
噪声敏感
样本数目越大，计算过程困难
两个超参数都是未知(核参数和正则化参数λ)
上面说的，不具有SVM的稀疏性
LS-SVM 优化问题的最终目的是得到优化模型参数，从而使LS-SVM 构建的线性决策函数不仅拥有良好的拟合性能，而且模型泛化能力强。为此，在确定核函数之后，LS-SVM 模型求解问题可归结为超参数（核函数参数，正则化参数）的选择问题。其中核参数对低维样本数据在映射空间中的分布复杂度有直接影响，而正则化参数则与模型对训练样本的拟合情况和模型的推广能力相关