基于matlab的SMO实现

这是我在机器学习课程上的作业，用matlab实现的SMO，记录一下体会。
我实现了简化版SMO代码，网络上流传的大部分也都是这种思路的代码，主要参考了Peter《机器学习实战》中关于SMO算法的部分。感谢yqx老师。
我自己编写的简化版代码：

function [alpha,bias] = my_seqminoptSimple(training,groupIndex,C,maxIter,tol)% init
[sampleNum,featuerNum]=size(training);
alpha=zeros(sampleNum,1);
bias=0;
iteratorTimes=0;K=training*training';
while iteratorTimes<maxIter%iteratorTimes=iteratorTimes+1;alphaPairsChanged=0;% calculate predict value%K=training*training';%g=(alpha.*groupIndex)'*K+repmat(bias,1,sampleNum);%g=g';% calculate error%E=g-groupIndex;% find alpha1for i=1:sampleNumg1=(alpha.*groupIndex)'*(training*training(i,:)')+bias;E1=g1-groupIndex(i,1);% choose i: avoid KKT conditionsif(((E1*groupIndex(i,1)<-tol)&&alpha(i,1)<C)||((E1*groupIndex(i,1)>tol)&&alpha(i,1)>0))% choose j: different from i j=i;while j==ij=randi(sampleNum);endalpha1=i;alpha2=j;% updata alpha1 and alpha2alpha1Old=alpha(alpha1,1);alpha2Old=alpha(alpha2,1);y1=groupIndex(alpha1,1);y2=groupIndex(alpha2,1);g2=(alpha.*groupIndex)'*(training*training(j,:)')+bias;E2=g2-groupIndex(j,1);if y1~=y2L=max(0,alpha2Old-alpha1Old);H=min(C,C+alpha2Old-alpha1Old);elseL=max(0,alpha2Old+alpha1Old-C);H=min(C,alpha2Old+alpha1Old);endif L==Hfprintf('H==L\n');continue;endparameter=K(alpha1,alpha1)+K(alpha2,alpha2)-2*K(alpha1,alpha2);if parameter<=0fprintf('parameter<=0\n');continue;endalpha2New=alpha2Old+y2*(E1-E2)/parameter;if alpha2New>Halpha2New=H;endif alpha2New<Lalpha2New=L;endif abs(alpha2New-alpha2Old)<=0.0001fprintf('change small\n');continue;endalpha1New=alpha1Old+y1*y2*(alpha2Old-alpha2New);% updata biasbias1=-E1-y1*K(alpha1,alpha1)*(alpha1New-alpha1Old)-y2*K(alpha2,alpha1)*(alpha2New-alpha2Old)+bias;bias2=-E2-y1*K(alpha1,alpha2)*(alpha1New-alpha1Old)-y2*K(alpha2,alpha2)*(alpha2New-alpha2Old)+bias;if alpha1New>0&&alpha1New<Cbias=bias1;elseif alpha2New>0&&alpha2New<Cbias=bias2;elsebias=(bias2+bias1)/2;endalpha(alpha1,1)=alpha1New;alpha(alpha2,1)=alpha2New;alphaPairsChanged=alphaPairsChanged+1;end  endif alphaPairsChanged==0iteratorTimes=iteratorTimes+1;elseiteratorTimes=0;endfprintf('iteratorTimes=%d\n',iteratorTimes);end

《机器学习实战》部分简化版SMO代码，感谢Peter的代码。

'''
Created on Nov 4, 2010
Chapter 5 source file for Machine Learing in Action
@author: Peter
'''
from numpy import *
from time import sleepdef loadDataSet(fileName):dataMat = []; labelMat = []fr = open(fileName)for line in fr.readlines():lineArr = line.strip().split('\t')dataMat.append([float(lineArr[0]), float(lineArr[1])])labelMat.append(float(lineArr[2]))return dataMat,labelMatdef selectJrand(i,m):j=i #we want to select any J not equal to iwhile (j==i):j = int(random.uniform(0,m))return jdef clipAlpha(aj,H,L):if aj > H: aj = Hif L > aj:aj = Lreturn ajdef smoSimple(dataMatIn, classLabels, C, toler, maxIter):dataMatrix = mat(dataMatIn); labelMat = mat(classLabels).transpose()b = 0; m,n = shape(dataMatrix)alphas = mat(zeros((m,1)))iter = 0while (iter < maxIter):alphaPairsChanged = 0for i in range(m):fXi = float(multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + bEi = fXi - float(labelMat[i])#if checks if an example violates KKT conditionsif ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):j = selectJrand(i,m)fXj = float(multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + bEj = fXj - float(labelMat[j])alphaIold = alphas[i].copy(); alphaJold = alphas[j].copy();if (labelMat[i] != labelMat[j]):L = max(0, alphas[j] - alphas[i])H = min(C, C + alphas[j] - alphas[i])else:L = max(0, alphas[j] + alphas[i] - C)H = min(C, alphas[j] + alphas[i])if L==H: print "L==H"; continueeta = 2.0 * dataMatrix[i,:]*dataMatrix[j,:].T - dataMatrix[i,:]*dataMatrix[i,:].T - dataMatrix[j,:]*dataMatrix[j,:].Tif eta >= 0: print "eta>=0"; continuealphas[j] -= labelMat[j]*(Ei - Ej)/etaalphas[j] = clipAlpha(alphas[j],H,L)if (abs(alphas[j] - alphaJold) < 0.00001): print "j not moving enough"; continuealphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])#update i by the same amount as j#the update is in the oppostie directionb1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[i,:]*dataMatrix[j,:].Tb2 = b - Ej- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[j,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[j,:]*dataMatrix[j,:].Tif (0 < alphas[i]) and (C > alphas[i]): b = b1elif (0 < alphas[j]) and (C > alphas[j]): b = b2else: b = (b1 + b2)/2.0alphaPairsChanged += 1print "iter: %d i:%d, pairs changed %d" % (iter,i,alphaPairsChanged)if (alphaPairsChanged == 0): iter += 1else: iter = 0print "iteration number: %d" % iterreturn b,alphasdataArr,labelArr=loadDataSet('testSet.txt')
b,alphas=smoSimple(dataArr, labelArr, 0.6, 0.001, 40)

SMO算法的基本思想就是对于还有大量变量的优化问题不好求解，我们就采用比较简单的思路：每次只更新两个变量的值，找到一个较好的解。
SMO理论不再重复，需要的可以参考传送门，这是一个去年选了这门课的一个师兄总结的，感谢。

我这里主要讨论一下我对SMO的体会吧。简化版SMO和原始SMO主要的区别在于两个更新变量选取。

思路一
选取违反KKT最大的变量α1，再选择更新值|E1-E2|最大的α2。但是简单的这么操作更新几次后就卡死了，看来SMO并没有如此简单。
思路二
选取违反KKT最严重的α1，再随机选一个α2。
思路三
遍历的选一个α1，再随机选一个α2。
这种简化的SMO就是选择思路三，而且必须加上很多的限制项，防止陷入一对选取的值然后就卡死不动了。具体的限制请参考SMO代码。

对于高级用户来说，想要实现完整版的SMO，请参考《机器学习实战》第6章的内容。

基于matlab的SMO实现相关推荐

matlab数字量转电气量,基于MATLAB的数字PID直流电机调速系统.doc
电力拖动课程设计作者段发鑫系 (院) 信息工程学院专业电气工程及其自动化年级 2010级学号 K031041513 指导教师耿东山日期 2013.5.5 基于MATLAB的 ...
图像有损压缩matlab程序,基于Matlab的灰度图像DCT与RLE的混合有损压缩
人工智能及识别技术本栏目责任编辑:唐一东第5卷第21期(2009年7月)基于Matlab 的灰度图像DCT 与RLE 的混合有损压缩朱玲芳,刘任任 (湘潭大学信息工程学院,湖南湘潭411105) 摘 ...
基于matlab的硅晶体模型,基于Matlab的图像处理技术识别硅太阳电池的缺陷
第 44 卷第 7 期 2010 年 7 月上海交通大学学报 JOURNAL OF SHANGHAI J IAOTON G UNIVERSITY Vol. 44 No. 7 Jul. ...
matlab求解外弹道,基于MATLAB∕Simulink的通用质点外弹道程序设计.pdf
2017.01 设计与研发基于 MATLAB/Simulink 的通用质点外弹道程序设计崔瀚 (沈阳工学院兵器类虚拟仿真实验教学中心, 辽宁抚顺 ,113122 ) 摘要:本文以弹丸质点外弹道学 ...
码分复用的matlab仿真,基于matlab的多路时分复用仿真.doc
基于matlab的多路时分复用仿真通信系统原理综设实验报告多路时分复用matlab仿真系统教师评语: 引言在实际的通信系统中,为了扩大通信链路的容量,提高通信系统的利用率,需要在一条链路上传输 ...
电机测试matlab,基于MATLAB的电机故障诊断模型训练与测试平台
基于MATLAB的电机故障诊断模型训练与测试平台于际河 [期刊名称]<计算机光盘软件与应用> [年(卷),期]2014(000)005 [摘要]基于MATLAB的可视化编程技术,设计电机 ...
matlab方波假频现象分析,基于MATLAB 的信号时域采样及频率混叠现象分析
龙源期刊网 http://www.doczj.com/doc/7d04774eae45b307e87101f69e3143323968f58a.html 基于MATLAB 的信号时域采样及频率混叠现象 ...
基于matlab fdma传输系统设计,基于MATLAB的LTE系统仿真研究
摘要: 根据LTE系统的原理和模块构成,分析并建立了一个基于MATLAB的系统级仿真平台.针对LTE系统中被广泛认可的轮询.比例公平和最大载干比三种经典调度算法,利用仿真平台产生的数据对三者的性能 ...
matlab的dft谱分析,数字信号处理基于matlab(用DFT作谱分析,窗函数的设计)
数字信号处理基于matlab(用DFT作谱分析,窗函数的设计) 1实验一用DFT作谱分析X11111X212344321N108X3COSN1PI/4N208X4SINN2PI/8FIGURESUBP ...

基于matlab的SMO实现

基于matlab的SMO实现相关推荐

最新文章

热门文章