作者：  博观厚积

简书专栏：https://www.jianshu.com/u/2f376f777ef1

1. 关于集成学习算法

集成学习算法，通俗地讲就是：三个臭皮匠，顶个诸葛亮，这在很多地方都有人提过。举个例子，比如你想第一本书，但是你不知道这本书怎么样，值不值得读，那么你可以通过打听，听取周围人的意见，得到对该书的一个基本评价，这是一种评价方式。你还可以通过京东、当当等电商网站上买书的人对该书的相关评论，得到一些意见，还有就是，你也可以通过豆瓣上对该书的评价，来获取相关信息。

这都是一些对该书评价的基本方法，最终的结果可能就是，你综合这几种意见，最后得到对该书的一个全面性评价，可能这种评价方式比你单纯依赖一种方式的效果好。

集成算法就是这样一种算法，它本身不是一个单独的机器学习算法，或者说没有自身的机器学习思维，而是采用集成的方式来完成对数据或事物的学习、训练过程。

2. 关于集成学习算法的框架体系

集成学习算法作为机器学习里的一个分支，已形成了一套的理论体系，其相关概念也比较多，如个体学习器、结合策略、bagging、AdaBoost算法、XGB、LGBT等等，让初学者眼花缭乱，每个具体算法的原理不同又会让大家晕头转向。

实际上，这些繁多的内容背后，集成学习算法可以分成两大框架，这也是集成学习着重解决的两个算法。崔丽娟等(2007)在论文《基于分类的集成学习算法研究》中认为集成学习主要由两部分构成：个体生成方法与结论生成方法，这就是集成学习的两个框架。

本人认为，这两部分叫个体集成方法与结论集成方法更贴切，其中前者表示如何得到若干个个体学习器，针对的是每一个具体算法，我如何操作，来集成其优点，后者表示如何选择一种结合策略将个体学习器集合起来，形成强学习器，针对的是不同个体学习器的训练结果，我如何集成起来，获得最优结果。

比如前边讲的对图书评价的问题，我采纳了三种意见得到了该书的综合评价结果，这就是一种结论集成方法。我还可以进一步，对三种评价方式进行优化，比如同过抽样的方法获取周围人的评价，或者一些网站的评论中有水军，可能我就要采取一些方法去验证等等，把这两个步骤结合起来就是集成学习。

集成学习的主要框架体系也是以此分类的，其中，结论集成方法较为简单，包括投票法、平均法、学习法等，其原理也相对简单，个体集成方法主要分为两大类：Boosting和Bagging，前者是基于训练集的学习误差来优化权重，从而提高学习性能，后者是通过对样本训练集反复抽样来提高学习器的性能，并衍生出很多算法。

3. 结论集成方法

由于结论集成方法相对简单，且容易理解，所以在这里先讲解这方面内容。

(1)投票法

最简单的投票法是相对多数投票法，也就是我们常说的少数服从多数，数量最多的类别为最终的分类类别。如果不止一个类别获得最高票，则随机选择一个做最终类别。

稍微复杂的投票法是绝对多数投票法，也就是我们常说的要票过半数。在相对多数投票法的基础上，不光要求获得最高票，还要求票过半数。否则会拒绝预测。更加复杂的是加权投票法，和加权平均法一样，每个弱学习器的分类票数要乘以一个权重，最终将各个类别的加权票数求和，最大的值对应的类别为最终类别。

我们以鸢尾花为例，如下所示，通过决策树、逻辑回归来构建了个体学习器，然后投票选择算法。

#导入sklearn及numpy模块from sklearn.datasets import load_irisfrom sklearn import cross_validationimport numpy as np

# 导入鸢尾花数据集iris = load_iris()x_train, x_test, y_train, y_test = cross_validation.train_test_split(iris.data, iris.target, test_size=0.4, random_state=1)

from sklearn import tree  #导入决策树库from sklearn.linear_model import LogisticRegression #导入逻辑回归库

from sklearn.ensemble import VotingClassifier #导入投票程序包model1 = LogisticRegression(random_state=1)model2 = tree.DecisionTreeClassifier(random_state=1)model = VotingClassifier(estimators=[('lr', model1), ('dt', model2)], voting='hard')model.fit(x_train,y_train)model.score(x_test,y_test)

(2)平均法

对于若干个弱学习器的输出进行平均得到最终的预测输出。最简单的平均是算术平均，复杂的是加权平均法。还是以鸢尾花数据为例，先通过决策树、K近邻、逻辑回归来构建了个体学习器，然后进行平均。

from sklearn.neighbors import KNeighborsClassifier #导入K近邻库model1 = tree.DecisionTreeClassifier()model2 = KNeighborsClassifier()model3= LogisticRegression()

model1.fit(x_train,y_train)model2.fit(x_train,y_train)model3.fit(x_train,y_train)

pred1=model1.predict_proba(x_test)pred2=model2.predict_proba(x_test)pred3=model3.predict_proba(x_test)

finalpred=(pred1+pred2+pred3)/3

(3)学习法

上述两种方法都是对弱学习器的结果做平均或者投票，相对比较简单，但是可能学习误差较大，于是就有了学习法这种方法。对于学习法，代表方法是stacking，当使用stacking的结合策略时， 我们不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，也就是说，我们将训练集弱学习器的学习结果作为输入，将训练集的输出作为输出，重新训练一个学习器来得到最终结果。

如下图，就是一个简单的Stacking算法结构，它是两层的结构，第一层的学习器为初学习器，也称为个体学习器。用于结合的第二层的分类器称为次级学习器或者是元学习器。其基本原理就是在以往算法中大多数是训练集与测试集，用训练集来训练模型，然后根据模型对测试集进行预测；Stacking则是在训练集的训练中加入又一层数据集划分，在训练集的训练与测试后，生成新的训练集，再与原始测试集进行模型训练。

这里仍以以鸢尾花为例，展示Stacking算法。

#导入sklearn及numpy模块from sklearn.datasets import load_irisfrom sklearn import cross_validationimport numpy as np

# 导入鸢尾花数据集iris = load_iris()x_train, x_test, y_train, y_test = cross_validation.train_test_split(iris.data, iris.target, test_size=0.4, random_state=1)

from sklearn import tree  #导入决策树库from sklearn.linear_model import LogisticRegression #导入逻辑回归库

#将数据转换为DataFrame格式import pandas as pdx_train = pd.DataFrame(x_train)y_train = pd.DataFrame(y_train)x_test = pd.DataFrame(x_test)y_test = pd.DataFrame(y_test)

接下来构造Stacking算法。

#Stacking techniquesfrom sklearn.model_selection import StratifiedKFolddef Stacking(model,train,y,test,n_fold):    folds=StratifiedKFold(n_splits=n_fold,random_state=1)  #分层采样    test_pred=np.empty((test.shape[0],1),float)  #构建空的测试集    train_pred=np.empty((0,1),float)   #构建空的训练集    for train_indices,val_indices in folds.split(train,y):        x_train,x_val=train.iloc[train_indices],train.iloc[val_indices]        y_train,y_val=y.iloc[train_indices],y.iloc[val_indices]

        model.fit(X=x_train,y=y_train)        train_pred=np.append(train_pred,model.predict(x_val))        test_pred=np.column_stack((test_pred,model.predict(test)))

    test_pred_a=np.mean(test_pred,axis=1) #按行计算均值return test_pred_a.reshape(-1,1),train_pred

这里着重说明一下，Stacking的构建过程。如前所述，Stacking主要是在原始训练集(train)中又进行了一次样本划分，比如我们将训练集划分了10份，9份小训练集(x_train、y_train)，1份小测试集(x_val、y_val)，然后通过for循环，对每一份小训练集(x_train、y_train)进行训练，用训练的模型model.fit(X=x_train,y=y_train)对小测试集(x_val、y_val)进行预测，得到train_pred，同时也用相同的训练模型对原始测试集(test)进行预测，得到test_pred，对于得到的test_pred，按行进行平均得到平均的测试集test_pred_a。

#接下来先用决策树算法进行训练，得到train_pred1，test_pred1：model1 = tree.DecisionTreeClassifier(random_state=1)

test_pred1 ,train_pred1=Stacking(model=model1,n_fold=10, train=x_train,test=x_test,y=y_train)

train_pred1=pd.DataFrame(train_pred1)test_pred1=pd.DataFrame(test_pred1)

#再用K近邻算法进行训练，得到train_pred2，test_pred2：model2 = KNeighborsClassifier()

test_pred2 ,train_pred2=Stacking(model=model2,n_fold=10,train=x_train,test=x_test,y=y_train)

train_pred2=pd.DataFrame(train_pred2)test_pred2=pd.DataFrame(test_pred2)

#将得到的train_pred1、train_pred12合并成新的训练集df，得到的test_pred1、test _pred12合并成新的训练集df _test，再用逻辑回归算法进行第二层训练df = pd.concat([train_pred1, train_pred2], axis=1)  #合并数据集df_test = pd.concat([test_pred1, test_pred2], axis=1)  #合并数据集

model = LogisticRegression(random_state=1)model.fit(df,y_train)model.score(df_test, y_test)

以上就是Stacking的原理与算法实现过程。

3、结论集成方法

表示如何选择一种结合策略将个体学习器集合起来，形成强学习器，针对的是不同个体学习器的训练结果，我如何集成起来，获得最优结果。主要分为两大类：Boosting和Bagging，前者是基于训练集的学习误差来优化权重，从而提高学习性能，后者是通过对样本训练集反复抽样来提高学习器的性能，并衍生出很多算法。

(1) Boosting算法

基于boosting 的集成学习，不同的个体学习器是通过串行一步一步得到的。算法首先将每个训练样本初始化一个权重值，然后训练出第一个个体学习器，计算在训练集上的加权错误率，然后更新每个样本的权重，最后调整每个个体学习器的权重。使准确率比较高的个体学习器的权重较高，准确率比较低的基本学习期的权重较低。然后根据新的样本权重值，去训练下一个个体学习器，不断循环，直到达到指定个体学习器数目时，算法停止运行。 其流程图如下：

Boosting系列算法里最著名算法主要有AdaBoost算法和提升树(boosting tree)系列算法。提升树系列算法里面应用最广泛的是梯度提升树(Gradient Boosting Tree)、GBDT、XGBOOST等。

(2) Bagging算法

基于bagging 的集成学习，是通过不断的对训练样本集合做有放回的随机取样得到的。例如对训练集做M 次随机有放回抽样，那么我们可以得到M 个不同的训练集，对这M 个不同的训练集，我们构建一个模型去训练，这样就可以得到M 个不同的模型。最后再将这M 个模型的结果融合，得到最终的模型。其流程图如下：

Bagging算法最经典的就是随机森林算法。其基本思想就是构造很多棵决策树，形成一个森林，然后用这些决策树共同决策输出类别是什么。在整个随机森林算法的过程中，有两个随机过程，第一个就是输入数据是随机的从整体的训练数据中选取一部分作为一棵决策树的构建，而且是有放回的选取；第二个就是每棵决策树的构建所需的特征是从整体的特征集随机的选取的，这两个随机过程使得随机森林很大程度上避免了过拟合现象的出现。

4、集成学习算法实战应用

我们以手写数字识别案例为基础，探讨集成算法的综合应用。这里我们将分别采用kNN 和逻辑回归作为个体学习器，采用基本相对投票法作为结合策略，来验证集成学习在该问题上的效果。

1、Bagging 集成kNN 模型

基本原理： 我们采用了sklearn 中的BaggingClassifier 来实现集成学习算法，个体学习器采用了KneighborsClassifier，为了加速kNN 算法的运行，在存储训练集样本时，我们采用了kdTree 数据结构，来加速最近邻的查找。

结果分析：我们分别设置了bagging 参数T = 5，10，15，20 测试集上的准确率。最终的实验结果表明，当T =10 时，模型在测试集上的准确率达到95.3%。当采用单一的个体学习器kNN 时，模型的准确率为95.25%。虽然正确率只提高了0.05%，但是由于测试集样本数目较多，所以相对使用单一；的kNN 模型而言，性能还是提高了不少。

2、Bagging 集成逻辑回归模型基本原理：

我们采用了sklearn 中的Bagging Classifier 来实现bagging 算法， 个体学习器采用LogisticRegression，为了避免陷入过拟合，逻辑回归加入了L2 正则化项。并且分别设置了不同的bagging 参数，即个体学习器的数目T，观察不同的参数T，对结果的影响。结果分析：我们在测试过程中，分别设置了bagging参数T = 5，10，15，20 来观察不同的参数T，在测试集上的准确率。最终实验结果表明，当T = 20 时，模型在测试集上的准确率达到了90.6%。而在前面采用单一的逻辑回归进行学习时，在测试集上的准确率只有86.7%。

由此可见，在采用了基于bagging 的集成学习后，模型的泛化能力增强，性能提升，在测试集上的准确率得到了提高。当T 较小时，算法的运行时间较快，但是当T 较大时，由于需要生成多个个体生成器，所以算法的需要运行更长的时间。

根据具体的Minist 手写识别数据集实例，在该数据上分别采用了个体学习器kNN，个体学习器逻辑回归，bagging 集成kNN，bagging 集成逻辑回归。在测试集上分别取得了95.25%，86.7%，95.3%，90.6%。验证了在采用了基于bagging 算法的集成学习后，相对于使用单一的个体学习器而言，在测试集上的准确率都有了一定的提高，表现出了集成学习方法相对于单一模型学习方法的优异性。

作者其他好文：机器学习中的特征选择及其Python举例

Python的爱好者社区历史文章大合集：

Python的爱好者社区历史文章列表

福利：文末扫码关注公众号，“Python爱好者社区”，开始学习Python课程：

关注后在公众号内回复“ 课程 ”即可获取：

小编的转行入职数据科学(数据分析挖掘/机器学习方向)【最新免费】

小编的Python的入门免费视频课程！

小编的Python的快速上手matplotlib可视化库！

崔老师爬虫实战案例免费学习视频。

陈老师数据分析报告扩展制作免费学习视频。

玩转大数据分析！Spark2.X + Python精华实战课程免费学习视频。