回归树与基于规则的模型(part4)--基于规则的模型

2024-05-03 20:48:29

学习笔记，仅供参考，有错必纠

回归树与基于规则模型

基于规则的模型

A rule(规则) is deﬁned as a distinct path through a tree(树中一条不重复的路径).For the
tree, a new sample can only travel down a single path through the tree deﬁned by these rules.(对于一棵树，新观测只能沿着唯一的一条路径由上至下，而路径正是由一系列规则定义的) The number of samples aﬀected by a rule is called its coverage.(被一条规则影响的观测数，被称为它的覆盖)

Holmes等人构建了一种从模型树中建立规则的方法，他们使用了"分而治之"的策略

This procedure derives rules from many diﬀerent model trees instead of from a single tree.
First, an initial model tree is created (they recommend using unsmoothed model trees). However, only the rule with the largest coverage is saved from this model. The samples covered by the rule are removed from the training set and another model tree is created with the remaining data. Again, only the rule with the maximum coverage is retained. This process repeats until all the training set data have been covered by at least one rule(被最后一条规则覆盖). A new sample is predicted by determining which rule(s) it falls under then applies the linear model associated with the largest coverage(要预测新样本时，首先将决定样本落入了哪些规则之中，然后使用其中覆盖最大的那条规则对应的线性模型进行预测).

回归树与基于规则的模型(part4)--基于规则的模型相关推荐

❤️解决非线性回归问题的机器学习方法总结：多项式线性模型、广义线性(GAM)模型、回归树模型、支持向量回归(SVR)模型
文章目录前言多项式回归模型概念解释: sklearn实现多项式回归模型: 广义线性可加(GAM)模型概念解释: pygam实现广义线性可加模型: GAM模型的优点与不足: 回归树模型概念解释 ...
监督学习 | CART 分类回归树原理
文章目录 CART 算法 1. CART 生成 1.1 回归树生成最小二乘回归树生成算法 1.2 分类树生成基尼指数 CART 生成算法参考文献相关文章: 机器学习 | 目录监督学习 | I ...
转载——Regression Tree 回归树
本文转载于" 一个拉风的名字"的"Regression Tree 回归树" 1. 引言 AI时代,机器学习算法成为了研究.应用的热点.当前,最火的两类算法莫过于 ...
CART回归树原理及python实现
CART回归树入门学习一.什么是CART回归算法二.分类树与回归树区别三.CART回归树与一般回归算法区别四.CART回归树创建 4.1 CART回归树的划分 4.2 CART回归树的构建 4 ...
Regression Tree 回归树
1. 引言 AI时代,机器学习算法成为了研究.应用的热点.当前,最火的两类算法莫过于神经网络算法(CNN.RNN.LSTM等)与树形算法(随机森林.GBDT.XGBoost等),树形算法的基础就是决策 ...
机器学习之分类回归树（CART）
前言写这一章本来是想来介绍GBDT-LR这一个推荐模型的.但是这里面就涉及到了很多机器学习的基础树形算法,思前想后还是决定分成几篇文章来写,这里先介绍一下CART数,因为在GBDT中用来分类回归的树 ...
回归树与基于规则的模型(part3)--回归模型树
学习笔记,仅供参考,有错必纠回归树与基于规则的模型回归模型树 One limitation of simple regression trees is that each terminal nod ...
回归树与基于规则的模型(part2)--简单回归树
学习笔记,仅供参考,有错必纠回归树与基于规则的模型简单回归树简单回归树将数据划分为若干组,其中组内的样本点在结果变量取值上具有一定的同质性.为了实现这种同质性划分,回归树需要决定: 用于切分的预 ...
回归树与基于规则的模型(part1)--if-then语句
学习笔记,仅供参考,有错必纠回归树与基于规则的模型 if-then语句基于树的模型由一个或多个针对预测变量的if−thenif-thenif−then语句组成,它们被用来对数据进行划分,基于这些划 ...

最新文章

热门文章