Bagging和Boosting区别:
Bagging算法和Boosting都属于集成算法，最重要的假设是：当弱模型被正确组合时，
我们可以得到更精确和/或更鲁棒的模型。bagging 的重点在于获得一个方差比其组成部分更小的集成模型，而 boosting 和 stacking则将主要生成偏差比其组成部分更低的强模型（即使方差也可以被减小）Bagging和Boosting 的主要区别:1. Bagging采取Bootstraping的是随机有放回的取样，Boosting的每一轮训练的样本是固定的，改变的是每个样本的权重。2. Bagging 的各个预测函数可以并行生成;Boosting的各个预测函数必须按照顺序迭代生成将Bagging和Boosting分别和树模型结合分别生成：Bagging+决策树=随机森林Boosting+决策树=GBDT随机森林优缺点:优点：1) 很容易查看模型的输入特征的相对重要性2) 可以处理高维数据  3) 因为是 属于Bagging所以模型的泛化能力强 (方差小)缺点：1）使用大量的树会使算法变得很慢，无法做到实时预测2）对于回归问题，精准度不够3）抗噪声干扰能力弱，无法自动处理异常样本

GBDT缺点1. 基于残差的gbdt在解决回归问题上不算好的选择，对异常值过于敏感2. 不适合高维稀疏特征3. 不好并行计算

RF与GBDT之间的区别与联系？
相同点：
1)都是由多棵树组成
2)最终的结果都由多棵树共同决定不同点：
1)组成随机森林的树可以分类树也可以是回归树，而GBDT只由回归树组成
2)组成随机森林的树可以并行生成(Bagging), GBDT只能串行生成(Boosting)
3)随机森林的结果是多数表决表决的,而GBDT则是多棵树加权累加之和
4)随机森林对异常值不敏感,而GBDT对异常值比较敏感
5)随机森林是减少模型的方差(高方差/过拟合),而GBDT是减少模型的偏差(高偏差/欠拟合)
6)随机森林不需要进行特征归一化,而GBDT则需要进行特征归一化

GBDT主要由Regression Decistion Tree，Gradient Boosting，Shrinkage三个概念组成。
1) 关于DT: GDBT 中的树全部都是回归树，核心就是累加所有树的结果作为最终结果。
只有回归树的结果累加起来才是有意义的，分类的结果加是没有意义的。GDBT 调整之后
可以用于分类问题，但是内部还是回归树。
2) 关于GB:首先 Boosting 是一种集成方法。通过对弱分类器的组合得到强分类器，他是串行的，
几个弱分类器之间是依次训练的。GBDT 的核心就在于，每一颗树学习的是之前所有树结论和的残差。
3) Shrinkage:核心思想在于：Shrinkage 认为每次走一小步来逼近结果的效果，要比每次迈一大步
很快逼近结果的方式更容易防止过拟合。也就是说，它不信任每次学习到的残差，它认为每棵树只学
习到了真理的一小部分，累加的时候只累加一小部分，通过多学习几棵树来弥补不足。

具体业务中，GBDT一般不直接使用，因为容易出现过拟合问题。比较好的方法是GBDT+LR
GBDT+LR 使用最广泛的场景是CTR点击率预估，即预测当给用户推送的广告会不会被用户点击。（二分类）
点击率预估模型涉及的训练样本一般是上亿级别，样本量大，模型常采用速度较快的LR。
但LR是线性模型，学习能力有限，此时特征工程尤其重要。GBDT算法的特点正好可以用来发掘有
区分度的特征、特征组合，减少特征工程中人力成本。

# gbdt 特征提取  https://www.cnblogs.com/wkang/p/9657032.html
from sklearn.preprocessing import OneHotEncoder
from sklearn.ensemble import GradientBoostingClassifiergbm1 = GradientBoostingClassifier(n_estimators=50, random_state=10, subsample=0.6, max_depth=7,min_samples_split=900)
gbm1.fit(X_train, Y_train)
#model.apply(X_train)返回训练数据X_train在训练好的模型里每棵树中所处的叶子节点的位置（索引）
train_new_feature = gbm1.apply(X_train)
train_new_feature = train_new_feature.reshape(-1, 50)
#OneHotEncoder() 首先fit() 过待转换的数据后，再次transform() 待转换的数据，
#就可实现对这些数据的所有特征进行One-hot 操作。由于transform() 后的数据格式不能直接使用，
#所以最后需要使用.toarray() 将其转换为我们能够使用的数组结构。
enc = OneHotEncoder()enc.fit(train_new_feature)# # 每一个属性的最大取值数目
# print('每一个特征的最大取值数目:', enc.n_values_)
# print('所有特征的取值数目总和:', enc.n_values_.sum())train_new_feature2 = np.array(enc.transform(train_new_feature).toarray())