介绍

在现实世界中，一些关系不是线性的。因此，应用线性回归分析这些问题是不合适的。为了解决这个问题，我们可以采用树回归。树回归的主要思想是将问题分成较小的子问题。如果子问题是线性的，我们可以结合所有子问题模型来获得整个问题的回归模型。

回归模型

树回归类似于决策树，它由特征选择，回归树的生成和回归组成。

特征选择

在决策树中，我们根据信息增益选择特征。但是，对于回归树，预测值是连续的，这意味着回归标签对于每个样本几乎是唯一的。因此，经验熵缺乏表征能力。因此，我们利用平方误差作为特征选择的标准，即

其中R m是由回归树除以的空间，f（x）由下式给出

因此，无论样本的特征是什么，相同空间中的输出都是相同的。R m 的输出是空间中所有样本的回归标签的平均值，即

回归树的特征选择类似于决策树，旨在最小化损失函数，即

回归树的生成

我们首先定义一个数据结构来保存树节点

class RegressionNode():    def __init__(self, index=-1, value=None, result=None, right_tree=None, left_tree=None):self.index = indexself.value = valueself.result = resultself.right_tree = right_treeself.left_tree = left_tree

像决策树一样，假设我们选择了最佳特征及其对应的值（j，s），那么我们将数据溢出

并且每个二进制文件的输出是

回归树的生成与决策树的生成几乎相同，此处不再赘述。您可以阅读实现机器学习的循序渐进指南II——决策树以获取更多详细信息。

def createRegressionTree(self, data):# if there is no featureif len(data) == 0:self.tree_node = treeNode(result=self.getMean(data[:, -1]))return self.tree_nodesample_num, feature_dim = np.shape(data)best_criteria = Nonebest_error = np.infbest_set = Noneinitial_error = self.getVariance(data)# get the best split feature and valuefor index in range(feature_dim - 1):uniques = np.unique(data[:, index])for value in uniques:left_set, right_set = self.divideData(data, index, value)if len(left_set) < self.N or len(right_set) < self.N:continuenew_error = self.getVariance(left_set) + self.getVariance(right_set)if new_error < best_error:best_criteria = (index, value)best_error = new_errorbest_set = (left_set, right_set)if best_set is None:self.tree_node = treeNode(result=self.getMean(data[:, -1]))return self.tree_node# if the descent of error is small enough, return the mean of the dataelif abs(initial_error - best_error) < self.error_threshold:self.tree_node = treeNode(result=self.getMean(data[:, -1]))return self.tree_node# if the split data is small enough, return the mean of the dataelif len(best_set[0]) < self.N or len(best_set[1]) < self.N:self.tree_node = treeNode(result=self.getMean(data[:, -1]))return self.tree_nodeelse:ltree = self.createRegressionTree(best_set[0])rtree = self.createRegressionTree(best_set[1])self.tree_node = treeNode(index=best_criteria[0], value=best_criteria[1], left_tree=ltree, right_tree=rtree)return self.tree_node

回归

回归原理就像二进制排序树，即将节点中存储的特征值与测试对象的相应特征值进行比较。然后，递归转向左子树或右子树 ，如下所示：

def classify(self, sample, tree):if tree.result is not None:return tree.resultelse:value = sample[tree.index]if value >= tree.value:branch = tree.right_treeelse:branch = tree.left_treereturn self.classify(sample, branch)

结论与分析

分类树和回归树可以组合为分类和回归树（CART）。实际上，在生成树后生成树时存在修剪过程。我们跳过它们是因为它有点复杂而且并不总是有效。最后，让我们将回归树与Sklearn中的树进行比较，检测性能如下所示：

Sklearn树回归性能：

我们的树回归性能：

我们的树回归需要比sklearn更长的时间。

可以在MachineLearning中找到本文中的相关代码和数据集。

原文地址：https://www.codeproject.com/Articles/5061172/Step-by-Step-Guide-to-Implement-Machine-Learning-7

实现机器学习的循序渐进指南IX ——树回归相关推荐

实现机器学习的循序渐进指南IV——逻辑回归
目录介绍逻辑回归模型参数估计优化算法分类结论与分析可访问实现机器学习的循序渐进指南系列汇总,获取本系列完成文章列表. 介绍逻辑回归是统计学习中的经典方法,它计算条件概率P(Y|X)并 ...
实现机器学习的循序渐进指南系列汇总
之前曾尝试翻译了机器学习中的KNN和决策树,最近这段时间陆续看到这个系列的相关文章,并尝试翻译分析.由于此系列文章直接相对零散,所以有了这篇简单的汇总文章,以帮助有兴趣的小伙伴迅速找到想看的文章. 具 ...
实现机器学习的循序渐进指南VIII——线性回归
目录介绍回归模型线性回归局部加权线性回归岭回归套索(Lasso)回归逐步线性回归结论与分析可访问实现机器学习的循序渐进指南系列汇总,获取本系列完成文章列表. 介绍通常存在变量之间 ...
实现机器学习的循序渐进指南II——决策树
目录介绍决策树模型特征选择决策树的生成分类结论与分析可访问实现机器学习的循序渐进指南系列汇总,获取本系列完成文章列表. 介绍决策原则并不复杂.从根节点开始,将节点中存储的特征值与测试 ...
实现机器学习的循序渐进指南I——KNN
目录介绍 KNN模型距离计算选择K 分类结论与分析可访问实现机器学习的循序渐进指南系列汇总,获取本系列完成文章列表. 介绍 K-最近邻(KNN)是一种简单的机器学习算法,其原理是计算测试对 ...
实现机器学习的循序渐进指南XII——Apriori
目录介绍 Apriori模型频繁项集关联规则结论与分析可访问实现机器学习的循序渐进指南系列汇总,获取本系列完成文章列表. 介绍 Apriori是一种学习频繁项集和关联规则的算法.Aprio ...
实现机器学习的循序渐进指南XI——DBSCAN
目录介绍 DBSCAN模型开始聚类算法参数估计结论与分析可访问实现机器学习的循序渐进指南系列汇总,获取本系列完成文章列表. 介绍基于密度的噪声应用空间聚类(DBSCAN)是一种基于密度 ...
实现机器学习的循序渐进指南X——KMeans
目录介绍 KMeans模型 KMEANS 平分KMeans KMEANS ++ 结论与分析可访问实现机器学习的循序渐进指南系列汇总,获取本系列完成文章列表. 介绍 KMeans是一种简单的聚类算 ...
实现机器学习的循序渐进指南VII——Blending Stacking
目录介绍混合(Blending)模型混合(Blending)架构混合(Blending)实现混合(Blending)分类堆叠(Stacking)模型堆叠(Stacking)架构堆叠(S ...

实现机器学习的循序渐进指南IX ——树回归

介绍

回归模型

特征选择

回归树的生成

回归

结论与分析

实现机器学习的循序渐进指南IX ——树回归相关推荐

最新文章

热门文章