一、前言

• 感谢Datawhale的给出的学习指南：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.15.1cd81b43EGYMvR&postId=95535
• 下面的数据主要都是基于零基础入门数据挖掘 - 二手车交易价格预测的比赛：https://tianchi.aliyun.com/competition/entrance/231784/information

这次的数据挖掘入门学习不仅仅是学会了数据挖掘的流程和一些简单的方法，更是懂得了想要学好数据挖掘，首先要先打好数据结构以及一些数学和统计相关的知识基础。
因此这篇学习笔记只看了前半部分，有兴趣的朋友可以点开上面的连接继续阅读后半部呀。
如果有什么不对或者写错的地方，欢迎留言修正^ ^

二、模型融合目标

• 对于多种调参完成的模型进行模型融合。
• 完成对多种模型的融合，提交融合结果并打卡。

三、内容介绍

模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。

1. 简单加权融合：

   • 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）;
   • 分类：投票（Voting）
   • 综合：排序融合（Rank averaging），log融合

2. stacking/blending:

   • 构建多层模型，并利用预测结果再拟合预测。

3. boosting/bagging（在xgboost,Adaboost,GBDT中已经用到）：

   • 多树的提升方法

四、Stacking相关理论介绍

以下的理论介绍都是来自于https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.15.1cd81b43EGYMvR&postId=95535

1.什么是stacking

• stacking 就是当用初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。
• 将个体学习器结合在一起的时候使用的方法叫做结合策略。
• 对于分类问题，我们可以使用投票法来选择输出最多的类。
• 对于回归问题，我们可以将分类器输出的结果求平均值。
• 还有一种结合策略是使用另外一个机器学习算法来将个体机器学习器的结果结合在一起，这个方法就是Stacking。
• 在stacking方法中，我们把个体学习器叫做初级学习器，用于结合的学习器叫做次级学习器或元学习器（meta-learner），次级学习器用于训练的数据叫做次级训练集。次级训练集是在训练集上用初级学习器得到的。

2.如何进行stacking

• 过程1-3 是训练出来个体学习器，也就是初级学习器。
• 过程5-9是 使用训练出来的个体学习器来得预测的结果，这个预测的结果当做次级学习器的训练集。
• 过程11 是用初级学习器预测的结果训练出次级学习器，得到我们最后训练的模型。

3.Stacking的方法讲解

首先，我们先从一种“不那么正确”但是容易懂的Stacking方法讲起。

Stacking模型本质上是一种分层的结构，这里简单起见，只分析二级Stacking.假设我们有2个基模型 Model1_1、Model1_2 和 一个次级模型Model2

Step 1:

1. 基模型 Model1_1，对训练集train训练
2. 训练后的模型 Model1_1 分别在 train 和 test 上预测，得到预测标签分别是P1，T1

Step 2:

1. 基模型 Model1_2 ，对训练集train训练
2. 训练后的模型 Model1_2 分别在 train 和 test 上预测，得到预测标签分别是P2，T2

Step 3:

1. 分别把P1,P2以及T1,T2合并，得到一个新的训练集和测试集train2,test2.
2. 再用 次级模型 Model2 以真实训练集标签为标签训练,以train2为特征进行训练，预测test2,得到最终的测试集预测的标签列YPre。

这就是我们两层堆叠的一种基本的原始思路想法。在不同模型预测的结果基础上再加一层模型，进行再训练，从而得到模型最终的预测。

Stacking本质上就是这么直接的思路，但是直接这样有时对于如果训练集和测试集分布不那么一致的情况下是有一点问题的，其问题在于用初始模型训练的标签再利用真实标签进行再训练，毫无疑问会导致一定的模型过拟合训练集，这样或许模型在测试集上的泛化能力或者说效果会有一定的下降，因此现在的问题变成了如何降低再训练的过拟合性，这里我们一般有两种方法。

• 1. 次级模型尽量选择简单的线性模型
• 1. 利用k折交叉验证

五、代码示例

1.回归\分类概率-融合：

（1）简单加权平均，结果直接融合

## 生成一些简单的样本数据，test_prei 代表第i个模型的预测值
test_pre1 = [1.2, 3.2, 2.1, 6.2]
test_pre2 = [0.9, 3.1, 2.0, 5.9]
test_pre3 = [1.1, 2.9, 2.2, 6.0]# y_test_true 代表第模型的真实值
y_test_true = [1, 3, 2, 6] import numpy as np
import pandas as pd## 定义结果的加权平均函数
def Weighted_method(test_pre1,test_pre2,test_pre3,w=[1/3,1/3,1/3]):Weighted_result = w[0]*pd.Series(test_pre1)+w[1]*pd.Series(test_pre2)+w[2]*pd.Series(test_pre3)return Weighted_resultfrom sklearn import metrics
# 各模型的预测结果计算MAE
print('Pred1 MAE:',metrics.mean_absolute_error(y_test_true, test_pre1))
print('Pred2 MAE:',metrics.mean_absolute_error(y_test_true, test_pre2))
print('Pred3 MAE:',metrics.mean_absolute_error(y_test_true, test_pre3))## 根据加权计算MAE
w = [0.3,0.4,0.3] # 定义比重权值
Weighted_pre = Weighted_method(test_pre1,test_pre2,test_pre3,w)
print('Weighted_pre MAE:',metrics.mean_absolute_error(y_test_true, Weighted_pre))

Pred1 MAE: 0.1750000000000001
Pred2 MAE: 0.07499999999999993
Pred3 MAE: 0.10000000000000009
Weighted_pre MAE: 0.05750000000000027

可以发现加权结果相对于之前的结果是有提升的，这种我们称其为简单的加权平均。

还有一些特殊的形式，比如mean平均，median平均

mean平均：

## 定义结果的加权平均函数
def Mean_method(test_pre1,test_pre2,test_pre3):Mean_result = pd.concat([pd.Series(test_pre1),pd.Series(test_pre2),pd.Series(test_pre3)],axis=1).mean(axis=1)return Mean_resultMean_pre = Mean_method(test_pre1,test_pre2,test_pre3)
print('Mean_pre MAE:',metrics.mean_absolute_error(y_test_true, Mean_pre))

Mean_pre MAE: 0.06666666666666693

median平均：

## 定义结果的加权平均函数
def Median_method(test_pre1,test_pre2,test_pre3):Median_result = pd.concat([pd.Series(test_pre1),pd.Series(test_pre2),pd.Series(test_pre3)],axis=1).median(axis=1)return Median_resultMedian_pre = Median_method(test_pre1,test_pre2,test_pre3)
print('Median_pre MAE:',metrics.mean_absolute_error(y_test_true, Median_pre))

Median_pre MAE: 0.07500000000000007

（2）Stacking融合（回归）：

from sklearn import linear_modeldef Stacking_method(train_reg1,train_reg2,train_reg3,y_train_true,test_pre1,test_pre2,test_pre3,model_L2= linear_model.LinearRegression()):model_L2.fit(pd.concat([pd.Series(train_reg1),pd.Series(train_reg2),pd.Series(train_reg3)],axis=1).values,y_train_true)Stacking_result = model_L2.predict(pd.concat([pd.Series(test_pre1),pd.Series(test_pre2),pd.Series(test_pre3)],axis=1).values)return Stacking_result

• model_L2.predict()：使用线性模型进行预测

## 生成一些简单的样本数据，test_prei 代表第i个模型的预测值
train_reg1 = [3.2, 8.2, 9.1, 5.2]
train_reg2 = [2.9, 8.1, 9.0, 4.9]
train_reg3 = [3.1, 7.9, 9.2, 5.0]
# y_test_true 代表第模型的真实值
y_train_true = [3, 8, 9, 5] test_pre1 = [1.2, 3.2, 2.1, 6.2]
test_pre2 = [0.9, 3.1, 2.0, 5.9]
test_pre3 = [1.1, 2.9, 2.2, 6.0]# y_test_true 代表第模型的真实值
y_test_true = [1, 3, 2, 6]

model_L2= linear_model.LinearRegression()
Stacking_pre = Stacking_method(train_reg1,train_reg2,train_reg3,y_train_true,test_pre1,test_pre2,test_pre3,model_L2)
print('Stacking_pre MAE:',metrics.mean_absolute_error(y_test_true, Stacking_pre))

Stacking_pre MAE: 0.04213483146067476

可以发现模型结果相对于之前有进一步的提升，这是我们需要注意的一点是，对于第二层Stacking的模型不宜选取的过于复杂，这样会导致模型在训练集上过拟合，从而使得在测试集上并不能达到很好的效果。

2.分类模型融合：

对于分类，同样的可以使用融合方法，比如简单投票，Stacking…

from sklearn.datasets import make_blobs
from sklearn import datasets
from sklearn.tree import DecisionTreeClassifier
import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from xgboost import XGBClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.datasets import make_moons
from sklearn.metrics import accuracy_score,roc_auc_score
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import StratifiedKFold

(1)Voting投票机制：

Voting即投票机制，分为软投票和硬投票两种，其原理采用少数服从多数的思想。

'''
硬投票：对多个模型直接进行投票，不区分模型结果的相对重要度，最终投票数最多的类为最终被预测的类。
'''
iris = datasets.load_iris()x=iris.data
y=iris.target
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)clf1 = XGBClassifier(learning_rate=0.1, n_estimators=150, max_depth=3, min_child_weight=2, subsample=0.7,colsample_bytree=0.6, objective='binary:logistic')
clf2 = RandomForestClassifier(n_estimators=50, max_depth=1, min_samples_split=4,min_samples_leaf=63,oob_score=True)
clf3 = SVC(C=0.1)# 硬投票
eclf = VotingClassifier(estimators=[('xgb', clf1), ('rf', clf2), ('svc', clf3)], voting='hard')
for clf, label in zip([clf1, clf2, clf3, eclf], ['XGBBoosting', 'Random Forest', 'SVM', 'Ensemble']):scores = cross_val_score(clf, x, y, cv=5, scoring='accuracy')print("Accuracy: %0.2f (+/- %0.2f) [%s]" % (scores.mean(), scores.std(), label))

Accuracy: 0.96 (+/- 0.02) [XGBBoosting]
Accuracy: 0.33 (+/- 0.00) [Random Forest]
Accuracy: 0.95 (+/- 0.03) [SVM]
Accuracy: 0.95 (+/- 0.03) [Ensemble]

• datasets.load_iris():加载并返回虹膜数据集（分类）。
  - iris数据集是一个经典的、非常简单的多类分类数据集。
• train_test_split()：将数组或矩阵分割成随机序列和测试子集。
  - 参数test_size：若为浮点数，则应在0.0和1.0之间，表示要包含在测试分割中的数据集的比例。
• XGBClassifier()：XGBoost分类的scikit-learn API的实现。
  - 参数learning_rate：提高学习速度。
  - 参数n_estimators：估计量。
  - 参数max_depth：为基础学习者提供的最大树深度。
  - 参数min_child_weight：子进程中所需实例权值的最小和（hessian）。
  - 参数subsample：训练实例的子样本比率。
  - 参数colsample_bytree：构造每课数时列的子样本比率。
  - 参数objective：指定学习任务和相应的学习目标或要使用的自定义目标函数。
• RandomForestClassifier()：随机森林分类器。
  - 随机森林是一个元估计器，它可以在数据集的不同子样本上拟合许多决策树分类器，并使用平均来提高预测精度和控制过拟合。
  - 参数n_estimators：森林中树木数量。
  - 参数max_depth：数的最大深度。
  - 参数min_samples_split：分割一个内部节点所需要的的最小样本数。
  - 参数min_samples_leaf：叶节点所需要的最小样本数。
  - 参数oob_score：是否使用out-of-bag样本估计泛化精度。
• SVC()：C-Support向量分类。
  - 参数C：误差项。
• scores.std():返回数组元素沿给定轴的标准偏差。
  - 标准偏差：一种度量数据分布的分散程度之标准，用以衡量数据值偏离算术平均值的程度。标准偏差越小，这些值偏离平均值就越少。标准偏差的大小可通过标准偏差与平均值的倍率关系来衡量。

'''
软投票：和硬投票原理相同，增加了设置权重的功能，可以为不同模型设置不同权重，进而区别模型不同的重要度。
'''
x=iris.data
y=iris.target
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)clf1 = XGBClassifier(learning_rate=0.1, n_estimators=150, max_depth=3, min_child_weight=2, subsample=0.8,colsample_bytree=0.8, objective='binary:logistic')
clf2 = RandomForestClassifier(n_estimators=50, max_depth=1, min_samples_split=4,min_samples_leaf=63,oob_score=True)
clf3 = SVC(C=0.1, probability=True)# 软投票
eclf = VotingClassifier(estimators=[('xgb', clf1), ('rf', clf2), ('svc', clf3)], voting='soft', weights=[2, 1, 1])
clf1.fit(x_train, y_train)for clf, label in zip([clf1, clf2, clf3, eclf], ['XGBBoosting', 'Random Forest', 'SVM', 'Ensemble']):scores = cross_val_score(clf, x, y, cv=5, scoring='accuracy')print("Accuracy: %0.2f (+/- %0.2f) [%s]" % (scores.mean(), scores.std(), label))

Accuracy: 0.96 (+/- 0.02) [XGBBoosting]
Accuracy: 0.33 (+/- 0.00) [Random Forest]
Accuracy: 0.95 (+/- 0.03) [SVM]
Accuracy: 0.96 (+/- 0.02) [Ensemble]

• 硬投票和软投票的不同就在于，软投票是为不同模型设置不同权重。因此在VotingClassifier中设置了weights参数，并在下面调用了fit函数。
• 从结果可以看出，只有XGBBoosting和Ensemble有差别以外，另外两个模型没有大的变化。

（2）分类的Stacking\Blending融合：

Stacking是一种分层模型集成框架。
- 以两层为例，第一层由多个基学习器组成，其输入为原始训练集，第二层的模型则是以第一层基学习器的输出作为训练集进行再训练，从而得到完整的stacking模型, stacking两层模型都使用了全部的训练数据。

'''
5-Fold Stacking
'''
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import ExtraTreesClassifier,GradientBoostingClassifier
import pandas as pd
#创建训练的数据集
data_0 = iris.data
data = data_0[:100,:]target_0 = iris.target
target = target_0[:100]#模型融合中使用到的各个单模型
clfs = [LogisticRegression(solver='lbfgs'),RandomForestClassifier(n_estimators=5, n_jobs=-1, criterion='gini'),ExtraTreesClassifier(n_estimators=5, n_jobs=-1, criterion='gini'),ExtraTreesClassifier(n_estimators=5, n_jobs=-1, criterion='entropy'),GradientBoostingClassifier(learning_rate=0.05, subsample=0.5, max_depth=6, n_estimators=5)]#切分一部分数据作为测试集
X, X_predict, y, y_predict = train_test_split(data, target, test_size=0.3, random_state=2020)dataset_blend_train = np.zeros((X.shape[0], len(clfs)))
dataset_blend_test = np.zeros((X_predict.shape[0], len(clfs)))#5折stacking
n_splits = 5
skf = StratifiedKFold(n_splits)
skf = skf.split(X, y)for j, clf in enumerate(clfs):#依次训练各个单模型dataset_blend_test_j = np.zeros((X_predict.shape[0], 5))for i, (train, test) in enumerate(skf):#5-Fold交叉训练，使用第i个部分作为预测，剩余的部分来训练模型，获得其预测的输出作为第i部分的新特征。X_train, y_train, X_test, y_test = X[train], y[train], X[test], y[test]clf.fit(X_train, y_train)y_submission = clf.predict_proba(X_test)[:, 1]dataset_blend_train[test, j] = y_submissiondataset_blend_test_j[:, i] = clf.predict_proba(X_predict)[:, 1]#对于测试集，直接用这k个模型的预测值均值作为新的特征。dataset_blend_test[:, j] = dataset_blend_test_j.mean(1)print("val auc Score: %f" % roc_auc_score(y_predict, dataset_blend_test[:, j]))clf = LogisticRegression(solver='lbfgs')
clf.fit(dataset_blend_train, y)
y_submission = clf.predict_proba(dataset_blend_test)[:, 1]print("Val auc Score of Stacking: %f" % (roc_auc_score(y_predict, y_submission)))

val auc Score: 1.000000
val auc Score: 0.500000
val auc Score: 0.500000
val auc Score: 0.500000
val auc Score: 0.500000
Val auc Score of Stacking: 1.000000

• LogisticRegression():逻辑回归（logit,MaxEnt）分类器。
  - 参数 solver：'lbfgs’能够处理多类问题，多项损失和处理L2处罚。
• ExtraTreesClassifier():一个extra-trees分类器。
  - 参数n_estimators：森林中的树木数量。
  - 参数n_job:'fit’和’predict’需要并行运行的任务数量。
  - '-1’表示使用所有处理器。
  - 参数criterion:用来测量分割质量的函数。
  - 'gini’代表gini杂质。
  - 'entropy’代表信息增益。
• GradientBoostingClassifier():梯度增强分类。
  - 参数learning_rate：通过’learning_rate’减少每棵树的贡献。learning_rate和n_estimators之间存在权衡。
  - 参数subsample：用来拟合个别基础学习者的样本分数。若<0.1，则产生随机梯度增强。'subsample’与参数’n_estimators’相互作用。
  - 参数max_depth：个体回归估计量的最大深度。最大深度限制树中的节点数。调优此参数以获得最佳性能;最佳值取决于输入变量之间的交互作用。
  - 参数n_estimators：推进阶段的数量。梯度增强对于过拟合是相当稳健的，因此大量的梯度增强通常会导致更好的性能。
• StratifiedKFold():分层K-Folds cross-validator
• clf.predict_proba():概率的估计。所有类的返回估计值都是按照类的标签排序的。
• roc_auc_score：根据预测得分计算接收机工作特性曲线（ROC AUC）下的面积。
  - **注意：**此实现仅限于二进制分类任务或标签指示符格式的多标签分类任务。

• Blending，其实和Stacking是一种类似的多层模型融合的形式。
  - 其主要思路是把原始的训练集先分成两部分，比如70%的数据作为新的训练集，剩下30%的数据作为测试集。
  - 在第一层，我们在这70%的数据上训练多个模型，然后去预测那30%数据的label，同时也预测test集的label。
  - 在第二层，我们就直接用这30%数据在第一层预测的结果做为新特征继续训练，然后用test集第一层预测的label做特征，用第二层训练的模型做进一步预测。
  其优点在于：
  1. 比stacking简单（因为不用进行k次的交叉验证来获得stacker feature）。
  2. 避开了一个信息泄露问题：generlizers和stacker使用了不一样的数据集。
  缺点在于：
  1. 使用了很少的数据（第二阶段的blender只使用training set10%的量）。
  2. blender可能会过拟合。
  3. stacking使用多次的交叉验证会比较稳健。

'''
Blending
'''#创建训练的数据集
#创建训练的数据集
data_0 = iris.data
data = data_0[:100,:]target_0 = iris.target
target = target_0[:100]#模型融合中使用到的各个单模型
clfs = [LogisticRegression(solver='lbfgs'),RandomForestClassifier(n_estimators=5, n_jobs=-1, criterion='gini'),RandomForestClassifier(n_estimators=5, n_jobs=-1, criterion='entropy'),ExtraTreesClassifier(n_estimators=5, n_jobs=-1, criterion='gini'),#ExtraTreesClassifier(n_estimators=5, n_jobs=-1, criterion='entropy'),GradientBoostingClassifier(learning_rate=0.05, subsample=0.5, max_depth=6, n_estimators=5)]#切分一部分数据作为测试集
X, X_predict, y, y_predict = train_test_split(data, target, test_size=0.3, random_state=2020)#切分训练数据集为d1,d2两部分
X_d1, X_d2, y_d1, y_d2 = train_test_split(X, y, test_size=0.5, random_state=2020)
dataset_d1 = np.zeros((X_d2.shape[0], len(clfs)))
dataset_d2 = np.zeros((X_predict.shape[0], len(clfs)))for j, clf in enumerate(clfs):#依次训练各个单模型clf.fit(X_d1, y_d1)y_submission = clf.predict_proba(X_d2)[:, 1]dataset_d1[:, j] = y_submission#对于测试集，直接用这k个模型的预测值作为新的特征。dataset_d2[:, j] = clf.predict_proba(X_predict)[:, 1]print("val auc Score: %f" % roc_auc_score(y_predict, dataset_d2[:, j]))#融合使用的模型
clf = GradientBoostingClassifier(learning_rate=0.02, subsample=0.5, max_depth=6, n_estimators=30)
clf.fit(dataset_d1, y_d2)
y_submission = clf.predict_proba(dataset_d2)[:, 1]
print("Val auc Score of Blending: %f" % (roc_auc_score(y_predict, y_submission)))

val auc Score: 1.000000
val auc Score: 1.000000
val auc Score: 1.000000
val auc Score: 1.000000
val auc Score: 1.000000
Val auc Score of Blending: 1.000000

参考博客：https://blog.csdn.net/Noob_daniel/article/details/76087829

(3)分类的Stacking融合（利用mlxtend）

!pip install mlxtendimport warnings
warnings.filterwarnings('ignore')
import itertools
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
import matplotlib.gridspec as gridspecfrom sklearn import datasets
from sklearn.linear_model import LogisticRegression
from sklearn.neighbors import KNeighborsClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.ensemble import RandomForestClassifier
from mlxtend.classifier import StackingClassifierfrom sklearn.model_selection import cross_val_score
from mlxtend.plotting import plot_learning_curves
from mlxtend.plotting import plot_decision_regions# 以python自带的鸢尾花数据集为例
iris = datasets.load_iris()
X, y = iris.data[:, 1:3], iris.targetclf1 = KNeighborsClassifier(n_neighbors=1)
clf2 = RandomForestClassifier(random_state=1)
clf3 = GaussianNB()
lr = LogisticRegression()
sclf = StackingClassifier(classifiers=[clf1, clf2, clf3], meta_classifier=lr)label = ['KNN', 'Random Forest', 'Naive Bayes', 'Stacking Classifier']
clf_list = [clf1, clf2, clf3, sclf]fig = plt.figure(figsize=(10,8))
gs = gridspec.GridSpec(2, 2)
grid = itertools.product([0,1],repeat=2)clf_cv_mean = []
clf_cv_std = []
for clf, label, grd in zip(clf_list, label, grid):scores = cross_val_score(clf, X, y, cv=3, scoring='accuracy')print("Accuracy: %.2f (+/- %.2f) [%s]" %(scores.mean(), scores.std(), label))clf_cv_mean.append(scores.mean())clf_cv_std.append(scores.std())clf.fit(X, y)ax = plt.subplot(gs[grd[0], grd[1]])fig = plot_decision_regions(X=X, y=y, clf=clf)plt.title(label)plt.show()

Accuracy: 0.91 (+/- 0.01) [KNN]
Accuracy: 0.93 (+/- 0.05) [Random Forest]
Accuracy: 0.92 (+/- 0.03) [Naive Bayes]
Accuracy: 0.95 (+/- 0.03) [Stacking Classifier]

可以发现 基模型 用 ‘KNN’, ‘Random Forest’, ‘Naive Bayes’ 然后再这基础上 次级模型加一个 ‘LogisticRegression’，模型测试效果有着很好的提升。

六、参考文献

— By: ML67

Email: maolinw67@163.com
PS: 华中科技大学研究生, 长期混迹Tianchi等，希望和大家多多交流。
github: https://github.com/mlw67 （近期会做一些书籍推导和代码的整理）

关于Datawhale：

Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale 以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时 Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。

Datawhale 数据挖掘新手入门笔记 -Task5 模型融合相关推荐

1. Datawhale零基础入门数据挖掘-Task5模型融合

   Datawhale零基础入门数据挖掘-Task5模型融合 五.模型融合 5.1 模型融合目标 5.2 内容介绍 5.3 Stacking相关理论介绍 5.4 代码示例 5.4.1 回归\分类概率-融合 ...

2. 【算法竞赛学习】二手车交易价格预测-Task5模型融合

   二手车交易价格预测-Task5 模型融合 五.模型融合 Tip:此部分为零基础入门数据挖掘的 Task5 模型融合 部分,带你来了解各种模型结果的融合方式,在比赛的攻坚时刻冲刺Top,欢迎大家后续多多 ...

3. 【算法竞赛学习】数字中国创新大赛智慧海洋建设-Task5模型融合

   智慧海洋建设-Task5 模型融合 5.1 学习目标 学习融合策略 完成相应学习打卡任务 5.2 内容介绍 https://mlwave.com/kaggle-ensembling-guide/ ht ...

4. Datawhale 零基础入门数据挖掘-Task5 模型融合

   模型融合是比赛后期一个重要的环节,大体来说有如下的类型方式. 一.简单加权融合 1.回归(分类概率):算术平均融合(Arithmetic mean),几何平均融合(Geometric mean): 2 ...

5. 数据挖掘实践（金融风控）——task5:模型融合

   文章目录 平均 1.简单平均 2.加权平均 投票 1.简单投票 2.加权投票 stacking blending 总结 平均 1.简单平均 结果直接融合 求多个预测结果的平均值.pre1-pren分别 ...

6. 二手车价格预测——Task5 模型融合

   文章目录 前言 一.代码示例 1.引入库 2.读入数据 3.建立模型 4.加权融合 总结 前言 当我们在做数据挖掘的时候,往往会发现单个模型的预测结果总是不如人意,这个时候我们不妨尝试模型融合,把多个 ...

7. Pytorch纯新手入门笔记

   Pytorch入门笔记(推荐配合B站up主我是土堆食用) PyTorch深度学习快速入门教程(绝对通俗易懂!)[小土堆] 视频作者:我是土堆 Pytorch入门 P1 命令行中对anaconda不同环 ...

8. 深度学习Deep learning小白入门笔记——PanGu模型训练分析

   书接上回 深度学习Deep learning小白入门笔记--在AI平台上训练LLM--PanGu 对训练模型重新认知与评估. 模型评估 在训练过程中或训练完成后,通常使用验证集或测试集来评估模型的性能 ...

9. 正则表达式新手入门笔记（一）

   正则表达式 描述了一种字符串匹配的模式,可以用来检查一个串 是否含有某种子串. 将匹配的子串替换 或者从某个串中取出符合某个条件的子串等. 本章节就来写一下入门正则表达式的收获内容. 首先我们先从正则 ...

最新文章

1. Linux 交叉编译简介
2. 如何有条件地向React组件添加属性？
3. Teambition CEO齐俊元：大象起舞，现代组织的企业协作
4. 服务器远程显示用户忙,服务器远程显示用户忙
5. dc综合与pt静态时序分析(中文)_小三电系统（PDU+DC+OBC）的技术研究
6. 【转】Path.Combine （合并两个路径字符串）方法的一些使用细节
7. 计算机视觉论文-2021-07-09
8. window 后台启动java参数启动
9. 剑指offer——5.替换空格
10. axis 开发webservice
11. 信息流媒体变现_抖音信息流投放优势，为什么选择抖音信息流广告投放呢？
12. 算法：回文数字9. Palindrome Number
13. 3d max 材质编辑器操作实例——自定义球
14. 矩阵变换应用-分块矩阵
15. 压缩包文件密码如何解密
16. Contrastive Learning
17. A类计算机机房温度变化,夏季什么样的温度才是机房适合的？
18. 腾讯地图实时精准定位
19. 计算机物联网前沿技术汇总
20. 一如昨日的时光，一如昨日的酒--

热门文章

1. MATLAB设置起始文件夹
2. [开源免费] ZXTouch - iOS11-14 iOS13 模拟触摸 模拟点击 比触动精灵和AutoTouch更好用的插件
3. java.sql.SQLException: null, message from server: “Host ‘XXX‘ is not allowed to connect异常（22.11.26）
4. 大学三年半的收支情况
5. 跨越“数字鸿沟”，日本老年智能化服务的解法
6. poi导出数据文件名错误_POI导出Excel报错“扩展名与文件的格式不匹配”
7. 用python批量修改图片名称！超级简单
8. 边缘计算的100个术语
9. 2020年终总结！新的起航，新的征程
10. python idle是什么_python中idle是什么意思