用决策树模型求解回归问题（regression tree）

2024-05-13 15:16:31

How do decision trees for regression work?

决策树模型既可以求解分类问题（对应的就是 classification tree），也即对应的目标值是类别型数据，也可以应用于回归预测问题的求解（regression tree），其输出值则可以是连续的实数值。一般市面上介绍决策树模型的书及相关的教学视频，通常只关注决策树在分类问题上的求解，而一笔带过对回归树的介绍。事实上，二者的构建过程也确实没有本质的不同，二者的差异主要集中在划分属性时的划分原则上。

1. SSE

SSE=∑i∈S1|yi−y1¯|+∑i∈S2|yi−y2¯|

\text{SSE} = \sum_{i\in S_1}|y_i-\bar{y_1}|+\sum_{i\in S_2}|y_i-\bar{y_2}|

y1¯,y2¯\bar{y_1},\bar{y_2} 分别表示以当前属性作为划分选择时各自对应的集合 S1S_1 和 S2S_2 目标值的均值。可通过如下的剪枝方式提高魔性的泛化能力：

SSEcp=SSE+cp×St

SSE_{c_p}=SSE+c_p\times S_t

StS_t 用来定义树的规模，也即终端节点的数目。cpc_p 则为可调参数，更小的 cpc_p 将会获得更大的树，该参数可通过交叉验证的方式获得。

2. OLS regression： sum of squared error

3. quantile regression：

用决策树模型求解回归问题（regression tree）相关推荐

决策树模型回归可视化分析_回归树分析与sklearn决策树案例！
文 | 菊子皮 (转载请注明出处)同名B站:AIAS编程有道「摘要:」决策树是非常基础的算法,其不仅能够进行分类还可以进行回归处理,也就是回归树.要想提高决策树的性能还需要做好剪枝的工作. 「关键 ...
转载——Regression Tree 回归树
本文转载于" 一个拉风的名字"的"Regression Tree 回归树" 1. 引言 AI时代,机器学习算法成为了研究.应用的热点.当前,最火的两类算法莫过于 ...
【Python机器学习】决策树、逻辑回归、神经网络等模型对电信用户流失分类实战（附源码和数据集）
需要源码和数据集请点赞关注收藏后评论区留言私信~~~ 电信用户流失分类该实例数据来自kaggle,它的每一条数据为一个用户的信息,共有21个有效字段,其中最后一个字段Churn标志该用户是否流失 1 ...
Regression Tree 回归树
1. 引言 AI时代,机器学习算法成为了研究.应用的热点.当前,最火的两类算法莫过于神经网络算法(CNN.RNN.LSTM等)与树形算法(随机森林.GBDT.XGBoost等),树形算法的基础就是决策 ...
逻辑回归Logistic Regression 模型简介
逻辑回归(Logistic Regression)是机器学习中的一种分类模型,由于算法的简单和高效,在实际中应用非常广泛.本文作为美团机器学习InAction系列中的一篇,主要关注逻辑回归算法的数学模 ...
机器学习实战（八）分类回归树CART（Classification And Regression Tree）
目录 0. 前言 1. 回归树 2. 模型树 3. 剪枝(pruning) 3.1. 预剪枝 3.2. 后剪枝 4. 实战案例 4.1. 回归树 4.2. 模型树学习完机器学习实战的分类回归树,简单 ...
Spark：基于PySpark的逻辑回归和决策树模型对泰旦尼克号幸存者预测的机器学习流程
pyspark的ML回顾下文章目录官网文档环境泰坦尼克号数据分析泰坦尼克号数据清洗整理 Spark ML Pipeline Titanic幸存者预测:逻辑回归LR模型模型训练模型预测 T ...
回归模型（regression model）有哪些指标？如何计算回归指标(regression metrics)？如何可视化他们？
回归模型(regression model)有哪些指标?如何计算回归指标(regression metrics)?如何可视化他们? metrics.explained_variance_score(y ...
R语言使用lm函数构建多元回归模型（Multiple Linear Regression）、使用step函数筛选最合适的回归变量（逐步回归筛选预测变量的最佳子集）
R语言使用lm函数构建多元回归模型(Multiple Linear Regression).使用step函数筛选最合适的回归变量(逐步回归筛选预测变量的最佳子集) 目录

最新文章

热门文章