组合预测模型：bagging

基本思想
通过Bootstrap抽样（0.632自举法），对样本量为n的样本，做k次有放回重复抽样，得到k个样本容量仍为n的随机样本Si，基于样本Si,建立k棵分类回归树，即k个预测模型。
对于分类问题，采用k个预测模型“投票”和“少数服从多数”的原则。哪个类别“得票”最多，就预测为哪个类别。对于回归问题，以k个预测模型给出的预测值的平均值作为最终的预测值。
若令k个预测模型为所有观测投票预测，总有部分观测参与建模，会导致预测误差的估计偏乐观。一般采用基于袋外（Out Of Bag，OOB）观测的预测误差。即若第i个观测在建模过程中有q（q＜k）次作为OOB观测，则对第i个观测进行预测时应有q个预测模型为其投票，并以得票最高的类别作为其预测类别。
对袋装技术而言，袋外观测的比例大约为36.8％。

下面以R语言分类预测–决策树中的例子的基础上，进行模型优化：

library('ipred')
#袋装技术建立树模型
#coob=TRUE：基于袋外观测计算预测误差；nbagg=25即抽样次数k;control同单棵树参数意义相同
tree_bag <- ipred::bagging(pres92~age+educ+degree+sex, data=df,nbagg=25, coob=TRUE, control=rc )
#使用模型对样本所有观测进行预测
ts2 <- predict(tree_bag, df, type='class')
#计算混淆矩阵
tb2 <- table(df$pres92,ts2)
#计算错判率
t2 <- diag(tb2)
rs2 <-vector()
for(j in 1:3){b = 1-t2[j]/sum(tb2[,j])rs2 = c(rs2,b)
};rs2

对角线为预测正确的观测数

则此时第1类错判率为0.3168000即(66+132)/(427+66+132)，第2类错判率为0.3687500，第3类错判率为0.2928437

很明显，整体而言，错判率较单棵数降低10%左右

组合预测模型：bagging相关推荐

组合预测模型 | PSO-ELM、ELM极限学习机数据回归预测对比（Matlab程序）
组合预测模型 | PSO-ELM.ELM极限学习机数据回归预测对比(Matlab程序) 目录组合预测模型 | PSO-ELM.ELM极限学习机数据回归预测对比(Matlab程序) 预测结果基本介绍 ...
组合预测模型 | ARIMA-LSTM时间序列预测（Python）
组合预测模型 | ARIMA-LSTM时间序列预测(Python) 目录组合预测模型 | ARIMA-LSTM时间序列预测(Python) 预测结果基本介绍程序设计参考资料预测结果基本介绍 ...
集成模型-组合预测模型
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录目录文章目录前言一.集成模型概述二.关联规则算法 1.Bagging 1.建模阶段 2.模型评价阶段 3.预测阶段 ...
基于CNN-LSTM及深度学习的风电场时空组合预测模型
摘要: 为了更好地预测风电场的风电功率,提取风电场相邻站点之间时空信息和潜在联系,提出了一种基于卷积神经网络(CNN).互信息(mutual information,MI)法.长短时记忆网络(LSTM ...
Python实现孤立森林（IForest）+SVR的组合预测模型
只讨论性能,不考虑关联性,降噪数据未填补. 1.引入数据集 from sklearn.ensemble import RandomForestClassifier from sklearn.metri ...
Python实现灰狼优化算法（GWO）+SVR的组合预测模型
1.导包 import csv import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.mod ...
决策树 bagging boosting 的区别
凡是在统计分析或机器学习领域从业的朋友们,对决策树这个名词肯定都不陌生吧. 决策树是一种解决分类问题的绝好方法,顾名思义,它正像一棵大树一样,由根部不断生长出很多枝叶:它的优点实在太多,比如可以避免缺 ...
数据分析与挖掘：财政收入影响因素分析及预测模型
财政收入影响因素分析及预测模型 1. 背景与挖掘目标 2. 分析方法与过程 2.1 数据探索 2.2 模型构建 2.3 数据预测 1. 背景与挖掘目标项目为<Python 数据分析与挖掘实战& ...
【数据分析与挖掘】财政收入影响因素分析及预测模型(有数据集和代码)
案例背景在我国现行的分税制财政管理体制下,地方财政收人不仅是国家财政收入的重要组成部分,而且具有其相对独立的构成内容.如何有效的利用地方财政收入,合理的分配,来促进地方的发展,提高市民的收入和生活质 ...
10 财政收入影响因素分析及预测模型
4 10 财政收入影响因素分析及预测模型 10.1背景与挖掘目标本案例通过研究发现影响目前以及未来地方财源建设的因素,并对其进行深入分析,提出对该市地方财源优化的具体建议,供政府决策参考,同时为其他 ...

组合预测模型：bagging

组合预测模型：bagging相关推荐

最新文章

热门文章