一个例子让你明白什么是CART回归树

关于CART的原理我相信各位都有看过，是不是有些晕呢?没关系，这里我给大家讲个例子，你就理解原来CART回归树生成这么简单啊。。。
首先建立一个数据集，为了方便，就取少量数据，如下表，数据的创建仅作参考

臂长（m）	年龄(岁)	体重（kg）	身高（m）(标签值)
0.5	5	20	1.1
0.7	7	30	1.3
0.9	21	70	1.7

训练数据中臂长，年龄，体重为特征变量X，身高为标签值Y，下面开始种树
1、首先将第一个特征的第一个值作为切割点（0.5），则划分的两个空间记为R1,R2
R1={0.5,5,20}R_{1}=\left \{ 0.5,5,20 \right \}R1={0.5,5,20} R2={(0.7,7,30),(0.9,21,70)}R_{2}=\left \{ (0.7,7,30),(0.9,21,70) \right \}R2={(0.7,7,30),(0.9,21,70)}
c1={1.1}c_{1}=\left \{ 1.1 \right \}c1={1.1} c2=12(1.3+1.7)=1.5c_{2}=\frac{1}{2}\left ( 1.3+1.7 \right )=1.5c2=21(1.3+1.7)=1.5
则平方误差（(真实值-预测值)的平方）

m(0.5)=(1.1−1.1)2+(1.5−1.3)2+(1.5−1.7)2=0.08m\left ( 0.5 \right )=(1.1-1.1)^2 +(1.5-1.3)^2+(1.5-1.7)^2 =0.08m(0.5)=(1.1−1.1)2+(1.5−1.3)2+(1.5−1.7)2=0.08
2、将第一个特征的第二个变量（0.7）作为切割点，类比第一步，划分的两个空间记为R1,R2
R1={(0.5,5,20),(0.7,7,30)}R_{1}=\left \{ (0.5,5,20),(0.7,7,30) \right \}R1={(0.5,5,20),(0.7,7,30)} R2={(0.9,21,70)}R_{2}=\left \{(0.9,21,70) \right \}R2={(0.9,21,70)}
c1=12(1.1+1.3)=1.2c_{1}=\frac{1}{2}\left ( 1.1+1.3 \right )=1.2c1=21(1.1+1.3)=1.2 c2={1.7}c_{2}=\left \{ 1.7 \right \}c2={1.7}
则平方误差m(0.5)=0.02+0=0.02m\left ( 0.5 \right )=0.02+0 =0.02m(0.5)=0.02+0=0.02
所以对于固定了特征后，从上面的MSE得出，所以特征“臂长=0.7”为切分点。同理。对于特征年龄，也可以采取上述的方式寻找最佳切分点，这样遍历了所有的特征，寻找平方误差最小的对（j,s）,j表示第j个特征，s表示第j个特征的第s个值。本例中最佳切分点为0.7，所以以此将特征空间划分为两个区域（R1，R2）.
3、对于第二步得到的R1h和R2，分别再次求最佳切分点，递归操作，过程同1~2。

一个例子让你明白什么是CART回归树相关推荐

Lesson 8.3Lesson 8.4 ID3、C4.5决策树的建模流程CART回归树的建模流程与sklearn参数详解
Lesson 8.3 ID3.C4.5决策树的建模流程 ID3和C4.5作为的经典决策树算法,尽管无法通过sklearn来进行建模,但其基本原理仍然值得讨论与学习.接下来我们详细介绍关于ID3和C4. ...
大白话5分钟带你走进人工智能-第二十六节决策树系列之Cart回归树及其参数(5)...
第二十六节决策树系列之Cart回归树及其参数(5) 上一节我们讲了不同的决策树对应的计算纯度的计算方法, ...
决策树-CART回归树
1.什么是CART? CART,又名分类回归树,是在ID3的基础上进行优化的决策树,学习CART记住以下几个关键点: (1)CART既能是分类树,又能是分类树: (2)当CART是分类树时,采用GIN ...
CART回归树原理及python实现
CART回归树入门学习一.什么是CART回归算法二.分类树与回归树区别三.CART回归树与一般回归算法区别四.CART回归树创建 4.1 CART回归树的划分 4.2 CART回归树的构建 4 ...
决策树(二)：CART回归树与Python代码
上一篇介绍了决策树的基本概念,特征划分标准及ID3､C4.5和CART分类树的算法,本文着重对CART回归树的内容进行补充. 本文概览: 首先介绍CART回归树的算法,然后是创建CART回归树的主要步 ...
CART回归树--决策树
决策树的关键问题这么多特征,使用哪个特征先进行子表划分? CART回归树原始数据集S,此时树的深度depth=0; 针对集合S,遍历每一个特征的每一个value, 用该value将原数据集S分裂成 ...
CART回归树原理及示例
转载:https://cethik.vip/2016/09/21/machineCAST/ 一.概念 CART全称叫Classification and Regression Tree.首先要强调的是 ...
CART回归树及其实战
1.CART简介分类与回归树(classification and regression tree,CART)模型由Breiman等人在1984年提出,是应用广泛的决策树学习方法.CAR ...
cart回归树的理解
id3不能直接处理连续性的特征,需要将连续性的转化成离散的,但是会破坏连续性特征的内在结构. 一.概念 CART全称叫Classification and Regression Tree.首先要强调的 ...

一个例子让你明白什么是CART回归树

一个例子让你明白什么是CART回归树相关推荐

最新文章

热门文章