1.SMO基础概念

将原始最优化问题转化成了其对偶问题，因为对偶问题是一个凸二次规划问题，这样的凸二次规划问题具有全局最优解。

其中(xi,yi)(xi,yi)表示训练样本数据，xixi为样本特征,yi∈{−1,1}yi∈{−1,1}为样本标签，C为惩罚系数由自己设定。

2.SMO原理分析

两个变量二次规划的求解方法

1、SMO的最优化问题的子问题

前面提到将原始的二次规划问题分解为只含有两个变量的二次规划子问题，所以假设选定两个变量 $\alpha_{1}$ 、 $\alpha _{2}$ ，其他变量相当于常数，省略常数后，SMO的最优化问题的子问题可以化简成以下形式

2、视为一元函数，求导取极值

(1)式可以看成是一个二元函数，根据于 $\alpha _{1}$ 和 $\alpha _{2}$ 的约束关系，可以把 $\alpha _{1}$ 消去。不过我们的目的是为了关于 $\alpha _{2}$ 求导，导数为0的点就是要找的极值点，所以这里既可以把 $\alpha _{1}$ 消去后对 $\alpha _{2}$ 求导，也可以直接在现在这个式子上对 $\alpha _{2}$ 求导。

找到其他博主博客一些很好的参考：

再根据推导：

3、对原始解进行裁剪

对约束条件对应的*式 $\alpha _{1}y_{1}+\alpha _{2}y_{2}=\xi$ ，考虑两种情况，分别如上图所示。

$\alpha _{2}^{new}$ 需要满足约束条件 $0\leq \alpha _{i}\leq C$ ，所以最优值 $\alpha _{2}^{new}$ 的取值范围也要满足条件 $L\leqslant \alpha _{2}^{new}\leqslant H$

L和H分别是 $\alpha _{2}^{new}$ 坐在的对角线段端点的界。

所以在更新 $\alpha _{2}$ 时，要先求出 $\alpha _{2}$ 的可行域，然后用之前的那个公式求出极值点 $\alpha _{2}$ ，然后看极值点 $\alpha _{2}$ 处的在不在可行域范围内，在的话就使用极值点处的 $\alpha _{2}$ ，不在的话就使用边界值H或者L更新，具体更新规则为：

4、求解 $\alpha _{1}^{new}$

由于只有两个变量，根据 $\alpha _{1}^{old}y_{1}+\alpha _{2}^{old}y_{2}=\alpha _{1}^{new}y_{1}+\alpha _{2}^{new}y_{2}$

可以求得 $\alpha _{1}^{new}=\alpha _{1}^{old}+y_{1}y_{2}(\alpha _{2}^{new}-\alpha _{2}^{new})$

【机器学习】SMO算法相关推荐

机器学习入门笔记：（4.3）SMO算法
前言之前的博客中,已经介绍了SVM的原理: 机器学习入门学习笔记:(4.1)SVM算法机器学习入门学习笔记:(4.2)核函数和软间隔最后我们得到的优化问题如下: maxα∑i=1mαi−12∑i ...
机器学习--支持向量机实战（二）简易SMO算法实现
该简易算法其实完成的任务很简单,就是违反KKT条件的alpha进行符合KKT条件,然后通过不在边界的点进行迭代,然后使其alpha稳定下来下面的代码基本每一句都进行了详细的解释,具体看代码,但是建议没 ...
机器学习笔记——支持向量机SMO算法完整版代码分析
机器学习笔记--支持向量机SMO算法完整版代码分析代码大体分析外循环参数类内循环 KKT条件判断 eCache参数完整SMO代码添加核函数代码代码参考书籍:<机器学习实战> ...
【机器学习】：SMO算法理解
SMO算法看了近3遍感觉还是有点朦朦胧胧,模模糊糊. 所以索性,理解多少写多少,避免遗忘.可能会有很多错误,欢迎指正. 主要基于李航的<统计学习方法> SMO(sequential min ...
【机器学习系列】之SVM核函数和SMO算法
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
《机器学习：算法原理与编程实践》的读书笔记：SMO部分最难，大部分代码基于Scikit-Learn，决策树其实用处不大
机器学习:算法原理与编程实践目录 [隐藏] 1 机器学习的基础 2 中文文本分类 3 决策树的发展 4 推荐系统原理 5 梯度寻优 6 神经网络初步 7 预测的技术与哲学 8 万能分类器:SVM 9 ...
机器学习：SVM训练，SMO算法描述，启发式选择样本或变量
文章目录优化目标: 优化步骤: 对偶问题本质: 选择第一个样本点标准: 选择第一个样本点标准为:最不满足KKT条件的样本如何判断样本点是否满足KKT条件? 满足和不满足KKT的情况: 量化不满足K ...
机器学习--支持向量机实战（三）完整版SMO算法实现
完整版和简化版的smo不通之处在于alpha的选择方式上,alpha的更改和代数运算和简化版本,完整版的alpha的选择方式采用了启发式进行选择,前面文章已经详解了,这里再简单的叙述一下: Platt ...
机器学习--支持向量机（四）SMO算法详解
上篇我们讲到,线性和非线性都转化为求解的问题即: 求解的方法就是SMO算法,下面详细介绍SMO算法: 在讲解SMO算法之前先说明一下讲解思路,首先先帮助大家理解这个式子,说明推倒的过程细节,然后和原论 ...
Educoder 机器学习 SMO进行优化第1关：SMO高效优化算法
第1关:SMO高效优化算法任务要求参考答案评论1 任务描述相关知识了解SMO的工作原理编程要求测试说明任务描述本关任务:编写一个SMO算法. 相关知识为了完成本关任务,你需要掌握: ...

【机器学习】SMO算法