机器学习算法-Adaboost
本章内容
- 组合类似的分类器来提高分类性能
- 应用AdaBoost算法
- 处理非均衡分类问题
主题:利用AdaBoost元算法提高分类性能
1.基于数据集多重抽样的分类器
- | AdaBoost |
---|---|
长处 | 泛化错误率低,易编码,能够应用在大部分分类器上,无需參数调整 |
缺点 | 对离群点敏感 |
适合数据类型 | 数值型和标称型数据 |
bagging:基于数据随机重抽样的分类器构建方法
自举汇聚法(bootstrap aggregating),也称为bagging方法,是从原始数据集选择S次后得到S个新数据集的一种技术。
新数据集和原始数据集的大小相等。每一个数据集都是通过在原始数据集中随机选择一个本来进行替换而得到的。
在S个数据集建好之后,将某个学习算法分别作用域每一个数据集得到了S个分类器。当我们对新数据进行分类时,就能够应用S个分类器进行分类。与此同一时候,选择分类器投票结果最多的类别作为最后的分类结果。
有一些比較先进的bagging方法,如随机森林(RF)。
boosting是一种与bagging非常类似的技术。
不论是boosting还是bagging其中。当使用的多个分类器的类型都是一致的。可是在前者其中,不同的分类器是通过串行训练而获得的。每一个新分类器都依据已训练出的分类器的性能来进行训练。boosting是通过训练集中关注被已有分类器错分的那些数据来获得新的分类器。
boosting方法有多个版本号,当前最流行便属于AdaBoost。
AdaBoost的一般流程
(1)收集数据:能够使用不论什么方法;
(2)准备数据:依赖于所使用的若分类器类型;
(3)分析数据:能够使用随意方法
(4)训练算法:AdaBoost的大部分时间都用在训练上,分类器将多次在同一数据集上训练若分类器。
(5)測试算法:计算分类的错误率;
(6)使用算法:同SVM一样,AdaBoost预測的两个类别中的一个。假设想要把它应用到多个类的场合,那么就像多类SVM中的做法一样对AdaBoost进行改动。
2.训练算法:基于错误提升分类器的性能
AdaBoost是adaptive boosting(自适应boosting)的缩写,其执行过程:训练集中的每一个样本,赋予其一个权重,这些权重构成向量D。一開始,这些权重都初试化成相等值。首先在训练数据上训练处一个若分类器并计算该分类器的错误率,然后在同一数据集上再次训练若分类器。在分类器的第二次训练其中,将会又一次调整每一个样本的权重。其中第一次分队的样本的权重值将会减少。而第一次分错的样本的权重将会提高。
为了从全部分类器中得到终于的分类结果,AdaBoost为每一个分类器都分配了一个权重值alpha,这些alpha值是基于每一个分类器的错误率进行计算的。其中错误率定义为
alpha计算公式
计算出alpha值之后,能够对权重向量D进行更新,使得正确分类的样本的权重值减少而分错的样本权重值升高,D的计算方法例如以下
假设某个样本被正确分类。更新该样本权重值为:
假设某个样本被错误分类,更新该样本的权重值为:
计算出D后,AdaBoost接着開始下一轮的迭代。AdaBoost算法会不断地反复训练和调整权重的过程,知道训练错误率为0或者若分类器的数目达到用户指定值为止。
在建立完整的AdaBoost算法之前,须要通过一些代码建立若分类器及保存数据集的权重。
算法描写叙述:
3.基于单层决策树构建若分类器
单层决策树是一种简单的决策树。首先构建一个简单的数据集,建立一个adaboost.py文件并增加下列代码:
def loadSimpData():datMat = matrix([[ 1. , 2.1],[ 2. , 1.1],[ 1.3, 1. ],[ 1. , 1. ],[ 2. , 1. ]])classLabels = [1.0, 1.0, -1.0, -1.0, 1.0]return datMat,classLabels
导入数据
>>> import adaboost
>>> datMat,classLabels=adaboost.loadSimpData()
附:自适应数据载入函数
def loadDataSet(fileName): #general function to parse tab -delimited floatsnumFeat = len(open(fileName).readline().split('\t')) #get number of fields dataMat = []; labelMat = []fr = open(fileName)for line in fr.readlines():lineArr =[]curLine = line.strip().split('\t')for i in range(numFeat-1):lineArr.append(float(curLine[i]))dataMat.append(lineArr)labelMat.append(float(curLine[-1]))return dataMat,labelMat
以下两个函数,一个用于測试是否某个值小于或者大于我们正在測试的阈值,一个会在一个加权数据集中循环,并找到具有最低错误率的单层决策树。
伪代码例如以下:
将最小错误率minError设为无穷大
对数据及中的每一个特征(第一层循环):对每一个步长(第二层循环):对每一个不等号(第三层循环):建立一颗单层决策树并利用加权数据集对它进行測试假设错误率低于minError。则将当前单层决策树设置为最佳单层决策树
返回最佳单层决策树
单层决策树生成函数代码:
def stumpClassify(dataMatrix,dimen,threshVal,threshIneq):#just classify the dataretArray = ones((shape(dataMatrix)[0],1))if threshIneq == 'lt':retArray[dataMatrix[:,dimen] <= threshVal] = -1.0else:retArray[dataMatrix[:,dimen] > threshVal] = -1.0return retArraydef buildStump(dataArr,classLabels,D):dataMatrix = mat(dataArr); labelMat = mat(classLabels).Tm,n = shape(dataMatrix)numSteps = 10.0; bestStump = {}; bestClasEst = mat(zeros((m,1)))minError = inf #init error sum, to +infinityfor i in range(n):#loop over all dimensionsrangeMin = dataMatrix[:,i].min(); rangeMax = dataMatrix[:,i].max();stepSize = (rangeMax-rangeMin)/numStepsfor j in range(-1,int(numSteps)+1):#loop over all range in current dimensionfor inequal in ['lt', 'gt']: #go over less than and greater thanthreshVal = (rangeMin + float(j) * stepSize)predictedVals = stumpClassify(dataMatrix,i,threshVal,inequal)#call stump classify with i, j, lessThanerrArr = mat(ones((m,1)))errArr[predictedVals == labelMat] = 0weightedError = D.T*errArr #calc total error multiplied by D#print "split: dim %d, thresh %.2f, thresh ineqal: %s, the weighted error is %.3f" % (i, threshVal, inequal, weightedError)if weightedError < minError:minError = weightedErrorbestClasEst = predictedVals.copy()bestStump['dim'] = ibestStump['thresh'] = threshValbestStump['ineq'] = inequalreturn bestStump,minError,bestClasEst
4.AdaBoost算法的实现
整个实现的伪代码例如以下:
对每次迭代:利用buildStump()函数找到最佳的单层决策树将最佳单层决策树增加到单层决策树数据中计算alpha计算心的权重向量D更新累计类别预计值假设错误率低于0.0 则退出循环
基于单层决策树的AdaBoost训练过程
def adaBoostTrainDS(dataArr,classLabels,numIt=40):weakClassArr = []m = shape(dataArr)[0]D = mat(ones((m,1))/m) #init D to all equalaggClassEst = mat(zeros((m,1)))for i in range(numIt):bestStump,error,classEst = buildStump(dataArr,classLabels,D)#build Stump#print "D:",D.Talpha = float(0.5*log((1.0-error)/max(error,1e-16)))#calc alpha, throw in max(error,eps) to account for error=0bestStump['alpha'] = alpha weakClassArr.append(bestStump) #store Stump Params in Array#print "classEst: ",classEst.Texpon = multiply(-1*alpha*mat(classLabels).T,classEst) #exponent for D calc, getting messyD = multiply(D,exp(expon)) #Calc New D for next iterationD = D/D.sum()#calc training error of all classifiers, if this is 0 quit for loop early (use break)aggClassEst += alpha*classEst#print "aggClassEst: ",aggClassEst.TaggErrors = multiply(sign(aggClassEst) != mat(classLabels).T,ones((m,1)))errorRate = aggErrors.sum()/mprint "total error: ",errorRateif errorRate == 0.0: breakreturn weakClassArr,aggClassEst
5.測试算法
拥有了多个若分类器以及其相应的alpha值,进行測试就方便了。
AdaBoost分类函数:利用训练处的多个若分类器进行分类的函数。
def adaClassify(datToClass,classifierArr):dataMatrix = mat(datToClass)#do stuff similar to last aggClassEst in adaBoostTrainDSm = shape(dataMatrix)[0]aggClassEst = mat(zeros((m,1)))for i in range(len(classifierArr)):classEst = stumpClassify(dataMatrix,classifierArr[i]['dim'],\classifierArr[i]['thresh'],\classifierArr[i]['ineq'])#call stump classifyaggClassEst += classifierArr[i]['alpha']*classEstprint aggClassEstreturn sign(aggClassEst)
6.绘制ROC曲线
ROC曲线绘制代码:
def plotROC(predStrengths, classLabels):import matplotlib.pyplot as pltcur = (1.0,1.0) #cursorySum = 0.0 #variable to calculate AUCnumPosClas = sum(array(classLabels)==1.0)yStep = 1/float(numPosClas); xStep = 1/float(len(classLabels)-numPosClas)sortedIndicies = predStrengths.argsort()#get sorted index, it's reversefig = plt.figure()fig.clf()ax = plt.subplot(111)#loop through all the values, drawing a line segment at each pointfor index in sortedIndicies.tolist()[0]:if classLabels[index] == 1.0:delX = 0; delY = yStep;else:delX = xStep; delY = 0;ySum += cur[1]#draw line from cur to (cur[0]-delX,cur[1]-delY)ax.plot([cur[0],cur[0]-delX],[cur[1],cur[1]-delY], c='b')cur = (cur[0]-delX,cur[1]-delY)ax.plot([0,1],[0,1],'b--')plt.xlabel('False positive rate'); plt.ylabel('True positive rate')plt.title('ROC curve for AdaBoost horse colic detection system')ax.axis([0,1,0,1])plt.show()print "the Area Under the Curve is: ",ySum*xStep
说明:文章中的代码来自机器学习实战。
References
【1】Machine Learning in Action 机器学习实战 第七章
本栏目Machine Learning持续更新中。欢迎关注:Dream_Angel_Z博客
机器学习算法-Adaboost相关推荐
- gtb分类器参数调节_机器学习算法梯度树提升GTB(GBRT)
Introduction 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比 ...
- gtb分类器参数调节_机器学习算法-梯度树提升GTB(GBRT)
Introduction 决策树这种算法有着很多良好的特性,比如说训练时间复杂度较低,预测的过程比较快速,模型容易展示(容易将得到的决策树做成图片展示出来)等.但是同时,单决策树又有一些不好的地方,比 ...
- 机器学习之Adaboost (自适应增强)算法
注:本篇博文是根据其他优秀博文编写的,我只是对其改变了知识的排序,另外代码是<机器学习实战>中的.转载请标明出处及参考资料. 1 Adaboost 算法实现过程 1.1 什么是 Adabo ...
- 机器学习实战-54: 集成学习分类算法(ada-boost)
集成学习分类算法 深度学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 集成学习分类算法(ada-boost)属于监督学习算法.常用分类算法包括:逻辑回归(Logistic Regress ...
- 【机器学习算法实践】AdaBoost是典型的Boosting算法,加法模型多个弱分类器流水线式的提升精度,更关注那些难处理的数据
现实生活中,大家都知道"人多力量大","3 个臭皮匠顶个诸葛亮".而集成学习的核心思路就是"人多力量大",它并没有创造出新的算法,而是把已有 ...
- 【机器学习】adaboost算法
[机器学习]adaboost算法 转载自:https://blog.csdn.net/guyuealian/article/details/70995333(算法原理与实例结合讲解很好!) 一.Ada ...
- 机器学习算法(2)——AdaBoost算法
Boosting算法 提升算法/Boosting是一种提高弱分类器准确度的方法. 通常在分类问题中,boosting通过改变训练样本的权重,学习多个分类器,并将这些分类器线性组合,提高分类性 ...
- 机器学习算法的优点和缺点总结
机器学习算法的优点和缺点总结 1.正则化算法(Regularization Algorithms) 它是另一种方法(通常是回归方法)的拓展,这种方法会基于模型复杂性对其进行惩罚,它喜欢相对简单能够更好 ...
- 机器学习算法基础知识
在我们了解了需要解决的机器学习问题的类型之后,我们可以开始考虑搜集来的数据的类型以及我们可以尝试的机器学习算法.在这个帖子里,我们会介绍一遍最流行的机器学习算法.通过浏览主要的算法来大致了解可以利用的 ...
最新文章
- guava缓存数据到本地_扩展Guava缓存以溢出到磁盘
- python王者归来 pdf_OpenStack开源云:王者归来 PDF 下载
- 收藏!架构师需要掌握的99条铁律
- Boring Partition(CF-239D)
- 模拟退火与遗传与蚁群算法
- Windows获取系统版本号
- mac下通过brew安装的Nginx在哪
- python 自动化测试
- 接口和一些抽象类的区别
- Python基础之字符串
- 网龙百万3D角色编辑系统介绍
- pt100专用芯片_T100/PT1000温度传感器芯片-PT100温度传感器芯片
- 聊聊页面中的锚点效果和回到顶部
- c++语言生成一个随机数,C++ 快速随机数生成器
- 重写规则(Rewrite Rules)在IIS和Linux服务器的配置区别
- 视频教程-2019年人工智能热门案例精讲之歌词生成器-机器学习
- RC低通滤波器截止频率公式推导
- 亿级用户百TB级数据的 AIOps 技术实践之路(增强版)
- 服务器网站崩溃怎么解决
- JAVA面试准备小记