Educoder 机器学习 SMO进行优化 第1关：SMO高效优化算法
2024-04-25 18:21:17
第1关：SMO高效优化算法
- 任务要求
- 参考答案
- 评论1
- 任务描述
- 相关知识
- 了解SMO的工作原理
- 编程要求
- 测试说明
任务描述
本关任务：编写一个SMO算法。
相关知识
为了完成本关任务，你需要掌握：1.了解SMO的工作原理，2.如何编写SMO算法
了解SMO的工作原理
SMO算法的目标是求出一系列α和b,一旦求出了这些α, 就很容易计算出权重向量w并得到分隔超平面。 SMO算法的工作原理是：每次循环中选择两个alpha进行优化处理。一旦找到一对合适的α,那么就增大其中一个同时减小另一个。这里所谓的“合适” 就是指两个α必须要符合一定的条件，条件之一就是这两个α必须要在间隔边界之外，而其第二个条件则是这两个α还没有进行过区间化处理或者不在边界上。 应用简化版SMO算法处理小规模数据集 简化版代码虽然量少,但执行速度慢。Platt SMO算法中的外循环确定要优化的最佳α对。而简化版却会跳过这一部分，首先在数据集上遍历每一个α , 然后在剩下的α集合中随机选择另一个α,从而构建α对。这里有一点相当重要，就是我们要同时改变两个α 。之所以这样做是因为我们有一个约束条件：
为此，我们将构建一个辅助函数，用于在某个区间范围内随机选择一个整数。同时，我们也需要另一个辅助函数，用于在数值太大时对其进行调整。
Parameters:fileName - 文件名Returns:dataMat - 数据矩阵labelMat - 数据标签def loadDataSet(fileName):dataMat = []; labelMat = []fr = open(fileName)for line in fr.readlines(): #逐行读取，滤除空格等lineArr = line.strip().split('\t')dataMat.append([float(lineArr[0]), float(lineArr[1])]) #添加数据labelMat.append(float(lineArr[2])) #添加标签return dataMat,labelMat```python"""函数说明:随机选择alphaParameters:i - alpham - alpha参数个数Returns:j -"""def selectJrand(i, m):j = i #选择一个不等于i的jwhile (j == i):j = int(random.uniform(0, m))return j"""
第一个函数就是我们所熟知的loadDatSet()函数，该函数打开文件并对其进行逐行解析，从而得到每行的类标签和整个数据矩阵。 下一个函数seelectJrand()有两个参数值，其中i是第一个α的下标，m是所有α的数目。只要函数值不等于输人值i，函数就会进行随机选择。 简化版的SMO函数如下： 创建一个alpha向量并将其初始化为O向量 当迭代次数小于最大迭代次数时（外循环） 对数据集中的每个数据向量（内循环）： 如果该数据向量可以被优化： 随机选择另外一个数据向量 同时优化这两个向量 如果两个向量都不能被优化，退出内循环 如果所有向量都没被优化，增加迭代数目，继续下一次循环 完整代码如下：
"""函数说明:简化版SMO算法Parameters:dataMatIn - 数据矩阵classLabels - 数据标签C - 松弛变量toler - 容错率maxIter - 最大迭代次数Returns:无"""def smoSimple(dataMatIn, classLabels, C, toler, maxIter):#转换为numpy的mat存储dataMatrix = np.mat(dataMatIn); labelMat = np.mat(classLabels).transpose()#初始化b参数，统计dataMatrix的维度b = 0; m,n = np.shape(dataMatrix)#初始化alpha参数，设为0alphas = np.mat(np.zeros((m,1)))#初始化迭代次数iter_num = 0#最多迭代matIter次while (iter_num < maxIter):alphaPairsChanged = 0for i in range(m):#步骤1：计算误差EifXi = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[i,:].T)) + bEi = fXi - float(labelMat[i])#优化alpha，更设定一定的容错率。if ((labelMat[i]*Ei < -toler) and (alphas[i] < C)) or ((labelMat[i]*Ei > toler) and (alphas[i] > 0)):#随机选择另一个与alpha_i成对优化的alpha_jj = selectJrand(i,m)#步骤1：计算误差EjfXj = float(np.multiply(alphas,labelMat).T*(dataMatrix*dataMatrix[j,:].T)) + bEj = fXj - float(labelMat[j])#保存更新前的aplpha值，使用深拷贝alphaIold = alphas[i].copy(); alphaJold = alphas[j].copy();#步骤2：计算上下界L和Hif (labelMat[i] != labelMat[j]):L = max(0, alphas[j] - alphas[i])H = min(C, C + alphas[j] - alphas[i])else:L = max(0, alphas[j] + alphas[i] - C)H = min(C, alphas[j] + alphas[i])if L==H: print("L==H"); continue#步骤3：计算etaeta = 2.0 * dataMatrix[i,:]*dataMatrix[j,:].T - dataMatrix[i,:]*dataMatrix[i,:].T - dataMatrix[j,:]*dataMatrix[j,:].Tif eta >= 0: print("eta>=0"); continue#步骤4：更新alpha_jalphas[j] -= labelMat[j]*(Ei - Ej)/eta#步骤5：修剪alpha_jalphas[j] = clipAlpha(alphas[j],H,L)if (abs(alphas[j] - alphaJold) < 0.00001): print("alpha_j变化太小"); continue#步骤6：更新alpha_ialphas[i] += labelMat[j]*labelMat[i]*(alphaJold - alphas[j])#步骤7：更新b_1和b_2b1 = b - Ei- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[i,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[i,:]*dataMatrix[j,:].Tb2 = b - Ej- labelMat[i]*(alphas[i]-alphaIold)*dataMatrix[i,:]*dataMatrix[j,:].T - labelMat[j]*(alphas[j]-alphaJold)*dataMatrix[j,:]*dataMatrix[j,:].T#步骤8：根据b_1和b_2更新bif (0 < alphas[i]) and (C > alphas[i]): b = b1elif (0 < alphas[j]) and (C > alphas[j]): b = b2else: b = (b1 + b2)/2.0#统计优化次数alphaPairsChanged += 1#打印统计信息print("第%d次迭代 样本:%d, alpha优化次数:%d" % (iter_num,i,alphaPairsChanged))#更新迭代次数if (alphaPairsChanged == 0): iter_num += 1else: iter_num = 0print("迭代次数: %d" % iter_num)return b,alphas"""
在有几百个点组成的小规模数据集上，简化版的SMO算法的运行时没有什么问题的，但是在更大的数据集上的运行速度就会变慢。在这两个版本中，实现α的更改和代数运算的优化环节一模一样。在优化过程中，唯一的不同就是选择α的方式。完整版的Platt SMO算法应用了一些能够提速的启发方法。 Platt SMO算法是通过一个外循环来选择第一个α值的，并且其选择过程会在两种方式之间进行交替：一种方式是在所有数据集上进行单遍扫描，另一种方式则是在非边界α中实现单遍扫描。而所谓非边界α指的就是那些不等于边界0或α值。对整个数据集的扫描相当容易，而实现非边界α值的扫描时，首先需要建立这些α值的列表，然后再对这个表进行遍历。同时，该步骤会跳过那些已知的不会改变的α值。 在选择第一个α值后，算法会通过一个内循环来选择第二个α值。在优化过程中，会通过最大化步长的方式来获得第二个α值。在简化版SMO算法中，我们会在选择j之后计算错 误率Ej。但在这里，我们会建立一个全局的缓存用于保存误差值，并从中选择使得步长或者说Ei-Ej最大的α值。
编程要求
根据提示，在右侧编辑器补充代码，编写完整版的SMO算法，
测试说明
平台会对你编写的代码进行测试：
开始你的任务吧，祝你成功！
import numpy as np
import random
def calcEk(oS, k):"""计算误差Parameters：oS - 数据结构k - 标号为k的数据Returns:Ek - 标号为k的数据误差"""fXk = float(np.multiply(oS.alphas,oS.labelMat).T*(oS.X*oS.X[k,:].T) + oS.b)Ek = fXk - float(oS.labelMat[k])return Ekdef loadDataSet(fileName):"""读取数据Parameters:fileName - 文件名Returns:dataMat - 数据矩阵labelMat - 数据标签"""dataMat = []; labelMat = []fr = open(fileName)for line in fr.readlines(): #逐行读取，滤除空格等lineArr = line.strip().split('\t')dataMat.append([float(lineArr[0]), float(lineArr[1])]) #添加数据labelMat.append(float(lineArr[2])) #添加标签return dataMat,labelMat
def selectJrand(i, m):"""函数说明:随机选择alpha_j的索引值Parameters:i - alpha_i的索引值m - alpha参数个数Returns:j - alpha_j的索引值"""j = i #选择一个不等于i的jwhile (j == i):j = int(random.uniform(0, m))return jdef selectJ(i, oS, Ei):"""内循环启发方式2Parameters：i - 标号为i的数据的索引值oS - 数据结构Ei - 标号为i的数据误差Returns:j, maxK - 标号为j或maxK的数据的索引值Ej - 标号为j的数据误差"""maxK = -1; maxDeltaE = 0; Ej = 0 #初始化oS.eCache[i] = [1,Ei] #根据Ei更新误差缓存validEcacheList = np.nonzero(oS.eCache[:,0].A)[0] #返回误差不为0的数据的索引值if (len(validEcacheList)) > 1: #有不为0的误差for k in validEcacheList: #遍历,找到最大的Ekif k == i: continue #不计算i,浪费时间Ek = calcEk(oS, k) #计算EkdeltaE = abs(Ei - Ek) #计算|Ei-Ek|if (deltaE > maxDeltaE): #找到maxDeltaEmaxK = k; maxDeltaE = deltaE; Ej = Ekreturn maxK, Ej #返回maxK,Ejelse: #没有不为0的误差j = selectJrand(i, oS.m) #随机选择alpha_j的索引值Ej = calcEk(oS, j) #计算Ejreturn j, Ej #j,Ejdef updateEk(oS, k):"""计算Ek,并更新误差缓存Parameters：oS - 数据结构k - 标号为k的数据的索引值Returns:无"""Ek = calcEk(oS, k) #计算EkoS.eCache[k] = [1,Ek] #更新误差缓存def clipAlpha(aj,H,L):"""修剪alpha_jParameters:aj - alpha_j的值H - alpha上限L - alpha下限Returns:aj - 修剪后的alpah_j的值"""if aj > H:aj = Hif L > aj:aj = Lreturn ajclass optStruct:"""数据结构，维护所有需要操作的值Parameters：dataMatIn - 数据矩阵classLabels - 数据标签C - 松弛变量toler - 容错率"""def __init__(self, dataMatIn, classLabels, C, toler):self.X = dataMatIn #数据矩阵self.labelMat = classLabels #数据标签self.C = C #松弛变量self.tol = toler #容错率self.m = np.shape(dataMatIn)[0] #数据矩阵行数self.alphas = np.mat(np.zeros((self.m,1))) #根据矩阵行数初始化alpha参数为0self.b = 0 #初始化b参数为0self.eCache = np.mat(np.zeros((self.m,2))) #根据矩阵行数初始化虎误差缓存，第一列为是否有效的标志位，第二列为实际的误差E的值。def innerL(i, oS):"""优化的SMO算法Parameters：i - 标号为i的数据的索引值oS - 数据结构Returns:1 - 有任意一对alpha值发生变化0 - 没有任意一对alpha值发生变化或变化太小"""#步骤1：计算误差EiEi = calcEk(oS, i)#优化alpha,设定一定的容错率。if ((oS.labelMat[i] * Ei < -oS.tol) and (oS.alphas[i] < oS.C)) or ((oS.labelMat[i] * Ei > oS.tol) and (oS.alphas[i] > 0)):#使用内循环启发方式2选择alpha_j,并计算Ejj,Ej = selectJ(i, oS, Ei)#保存更新前的aplpha值，使用深拷贝alphaIold = oS.alphas[i].copy(); alphaJold = oS.alphas[j].copy();#步骤2：计算上下界L和Hif (oS.labelMat[i] != oS.labelMat[j]):L = max(0, oS.alphas[j] - oS.alphas[i])H = min(oS.C, oS.C + oS.alphas[j] - oS.alphas[i])else:L = max(0, oS.alphas[j] + oS.alphas[i] - oS.C)H = min(oS.C, oS.alphas[j] + oS.alphas[i])if L == H:print("L==H")return 0#步骤3：计算etaeta = 2.0 * oS.X[i,:] * oS.X[j,:].T - oS.X[i,:] * oS.X[i,:].T - oS.X[j,:] * oS.X[j,:].Tif eta >= 0:print("eta>=0")return 0#步骤4：更新alpha_joS.alphas[j] -= oS.labelMat[j] * (Ei - Ej)/eta#步骤5：修剪alpha_joS.alphas[j] = clipAlpha(oS.alphas[j],H,L)#更新Ej至误差缓存updateEk(oS, j)if (abs(oS.alphas[j] - alphaJold) < 0.00001):print("alpha_j变化太小")return 0#步骤6：更新alpha_ioS.alphas[i] += oS.labelMat[j]*oS.labelMat[i]*(alphaJold - oS.alphas[j])#更新Ei至误差缓存updateEk(oS, i)#步骤7：更新b_1和b_2b1 = oS.b - Ei- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.X[i,:]*oS.X[i,:].T - oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.X[i,:]*oS.X[j,:].Tb2 = oS.b - Ej- oS.labelMat[i]*(oS.alphas[i]-alphaIold)*oS.X[i,:]*oS.X[j,:].T - oS.labelMat[j]*(oS.alphas[j]-alphaJold)*oS.X[j,:]*oS.X[j,:].T#步骤8：根据b_1和b_2更新bif (0 < oS.alphas[i]) and (oS.C > oS.alphas[i]): oS.b = b1elif (0 < oS.alphas[j]) and (oS.C > oS.alphas[j]): oS.b = b2else: oS.b = (b1 + b2)/2.0return 1else:return 0
def smoP(dataMatIn, classLabels, C, toler, maxIter):"""完整的线性SMO算法Parameters：dataMatIn - 数据矩阵classLabels - 数据标签C - 松弛变量toler - 容错率maxIter - 最大迭代次数Returns:oS.b - SMO算法计算的boS.alphas - SMO算法计算的alphas"""oS = optStruct(np.mat(dataMatIn), np.mat(classLabels).transpose(), C, toler) #初始化数据结构iter = 0 #初始化当前迭代次数entireSet = True; alphaPairsChanged = 0while (iter < maxIter) and ((alphaPairsChanged > 0) or (entireSet)): #遍历整个数据集都alpha也没有更新或者超过最大迭代次数,则退出循环alphaPairsChanged = 0if entireSet: #遍历整个数据集for i in range(oS.m):alphaPairsChanged += innerL(i,oS) #使用优化的SMO算法print("全样本遍历:第%d次迭代 样本:%d, alpha优化次数:%d" % (iter,i,alphaPairsChanged))iter += 1else: #遍历非边界值nonBoundIs = np.nonzero((oS.alphas.A > 0) * (oS.alphas.A < C))[0] #遍历不在边界0和C的alphafor i in nonBoundIs:alphaPairsChanged += innerL(i,oS)print("非边界遍历:第%d次迭代 样本:%d, alpha优化次数:%d" % (iter,i,alphaPairsChanged))iter += 1if entireSet: #遍历一次后改为非边界遍历entireSet = Falseelif (alphaPairsChanged == 0): #如果alpha没有更新,计算全样本遍历entireSet = Trueprint("迭代次数: %d" % iter)return oS.b,oS.alphas #返回SMO算法计算的b和alphas
def calcWs(alphas,dataArr,classLabels):"""计算wParameters:dataArr - 数据矩阵classLabels - 数据标签alphas - alphas值Returns:w - 计算得到的w"""X = np.mat(dataArr); labelMat = np.mat(classLabels).transpose()m,n = np.shape(X)w = np.zeros((n,1))for i in range(m):w += np.multiply(alphas[i]*labelMat[i],X[i,:].T)return wif __name__ == '__main__':dataArr, classLabels = loadDataSet('./src/step2/testSet.txt')b, alphas = smoP(dataArr, classLabels, 0.6, 0.001, 40)Educoder 机器学习 SMO进行优化 第1关：SMO高效优化算法相关推荐
- Educoder 机器学习之随机森林算法 第2关：随机森林算法流程
第2关:随机森林算法流程 任务描述 本关任务:补充 python 代码,完成 RandomForestClassifier 类中的 fit 和 predict 函数.请不要修改 Begin-End 段 ...
- 【机器学习系列】之SVM核函数和SMO算法
作者:張張張張 github地址:https://github.com/zhanghekai [转载请注明出处,谢谢!] [机器学习系列]之SVM硬间隔和软间隔 [机器学习系列]之SVM核函数和SMO ...
- 机器学习+优化问题的种类、如何优化、凸优化、非凸优化、对偶问题、KKT条件
机器学习+优化问题的种类.如何优化.凸优化.非凸优化.对偶问题.KKT条件 目录
- 在机器学习中，怎么对超参数Hyper parameter优化？我总结了以下常见的方法
@Author:Runsen 机器模型中一般有两类参数,一类是可以从数据中学习估计得到,我们称为参数(Parameter).还有一类参数时无法从数据中估计,只能靠人的经验进行设计指定,我们称为超参数( ...
- EduCoder 机器学习 决策树
决策树说通俗点就是一棵能够替我们做决策的树,或者说是我们人类在要做决策时脑回路的一种表现形式. 本实训项目的主要内容是基于 python 语言搭建出决策树模型对数据分类,并使用 sklearn 的决策 ...
- 机器学习:贝叶斯和优化方法_Facebook使用贝叶斯优化在机器学习模型中进行更好的实验
机器学习:贝叶斯和优化方法 I recently started a new newsletter focus on AI education. TheSequence is a no-BS( mea ...
- Educoder -Java高级特性 - IO流 4关
Educoder -Java高级特性 - IO流 第一关 第二关:本关任务:使用输入输出流读写文件. 请仔细阅读右侧代码,根据方法内的提示,在Begin - End区域内进行代码补充,具体任务如下: ...
- 【educoder 机器学习】决策树
决策树说通俗点就是一棵能够替我们做决策的树,或者说是我们人类在要做决策时脑回路的一种表现形式. 本实训项目的主要内容是基于 python 语言搭建出决策树模型对数据分类,并使用 sklearn 的决策 ...
- 机器学习入门学习笔记：（4.1）SVM算法
前言 支持向量机(Support Vector Machine,简称SVM)可以说是最经典的机器学习算法之一了.这几天再看SVM,参考了一些书籍和博客,这里把自己的笔记记录下来,以便以后复习查看. 间 ...
最新文章
- 中间表增加额外字段_知识分享 I 这样显示报表筛选字段 你学会了吗
- 计算机应用技术备选计划方案,华东理工大学博士研究生培养方案计算机应用技术、计算机软件与理论、计算机系统结构二级学科（学科代码：081203、081202、081201）信息科学与工程学院...
- java中的Attribute类_java培训技术ModelAttribute注解修饰POJO类型的入参
- linux安装pgsql源码包解压,在Linux（centos）中使用源码安装pgRouting
- 从0成为Facebook广告高手系列教程
- cad字体安装_装了1个G的CAD字体后，我的CAD崩了怎么办？
- 应该怎么评价大数据杀熟？
- Java源码阅读绘图规范手册--[捷特版]
- 第七章·【第一次上岗：核桃编程】
- 北京国际学校ib成绩排名如何？
- 微分方程数值解法(PID仿真用一阶被控对象库PLC算法实现)
- 数据结构之单向循环链表
- 《文章生成器》根据关键词生成一篇文章
- 阿里云弹性EIP和固定公网IP的区别
- oracle非分区表，转分区表
- ubuntu18.04安装无线网卡驱动安装心得（解决无法在线下载驱动问题）
- 卷积神经网络 图像处理,卷积神经网络图像识别
- VTK修炼之道65：体绘制裁剪_Cropping技术
- 烦人的谷歌验证码被破解怎么办？下一代隐藏验证方式现身
- 零基础学手绘彩铅，这些技巧美术集网校都整理好了，收藏起来吧~