秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

一、总结

一句话总结：

其实机器模型减少variance的比较好的方式就是多个模型取平均值

1、CART是什么？

classification and regression tree

2、决策树模型的本质是什么？

divide the input space into a few regions

3、我们如何用决策树去做预测？

信息不同属性按重要性依次下分：先划分x1的范围，这就形成了一个二叉树分支，再划分x2的范围，就形成的决策树。

叶子节点是分类，也是预测：预测的话就是不同范围的(x1,x2)就对应了不同的y，这个y就是可以用作预测的

叶子节点是预测值：决策树，非叶子节点就是x1，x2的范围，叶子节点就是预测的值y

4、CART tree 分割的一个例子？

|||-begin

x 1 | 2 3 4 | 5 6 7 8 9 10
y 0 | 1 2 3 | 4 5 6 7 8 9

|||-end

求不同分割的重要性：如果是1.5处分割，那么loss(1.5)=每一部分的差值平方和的和，比如第二部分xi={1-9}，x平均数=5，(xi-5)^2

5、CART tree的本质是什么？

二分·递归·分割树：感觉和线段树的分割非常相似，只不过cart tree的叶子节点是y值

6、如何用cart tree做集成学习？

多个角色投票产生：每个角色可能准确度不高，但是多个角色投票起来，准确率就高了很多（和多次模型取平均值很相似）

7、用cart tree做集成学习中Bagging 和 Boosting的区别是什么？

Bagging：每个臭皮匠的能力都是一样：每个模型是单独训练，方便做分布式，最后各个模型投票决定

Boosting：给臭皮匠分了等级：后一个模型的训练依赖于前一个，给分错的数据增加权限方便下一个模型分对，给训练的模型增加权限为了最后投票，最后也是各个模型投票决定

8、用cart tree做集成学习的好处是什么？

去掉了噪音：即那些不着边际的数据

二、内容在总结中

转载于:https://www.cnblogs.com/Renyi-Fan/p/10979409.html

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles相关推荐

秦曾昌人工智能课程---6、Decision Tree Learning
秦曾昌人工智能课程---6.Decision Tree Learning 一.总结一句话总结: 怎样去构建决策树:比如一维:***|00|***|000|***,|为分割线,每个分割点都是一种情况, ...
秦曾昌人工智能课程---4、梯度下降算法
秦曾昌人工智能课程---4.梯度下降算法一.总结一句话总结: 找wi:注意,普通的梯度算法是找wi,而不是优化wi 1.比如我们现在求身高体重对性别的影响,那么输入数据中包含身高和体重,那么输入数 ...
秦曾昌人工智能课程---1、机器学习中的数学基础
秦曾昌人工智能课程---1.机器学习中的数学基础一.总结一句话总结: 函数+线代:了解数学常用函数,了解矩阵,了解线性代数由浅入深:人工智能需要的高数基础并不多,由浅入深,很简单的 1.机器学习 ...
秦曾昌人工智能课程---3、机器学习中的哲学
秦曾昌人工智能课程---3.机器学习中的哲学一.总结一句话总结: 机器学习分类:了解机器学习分类:监督学习,非监督学习,增强学习机器学习针对性:了解什么问题是机器学习问题,什么不是 1.三个门, ...
秦曾昌人工智能课程---2、机器学习中的数学基础2
秦曾昌人工智能课程---2.机器学习中的数学基础2 一.总结一句话总结: 概率论在机器学习中比较重要 1.机器学习中最重要的数学基础是什么? 概率和统计:机器学习中很多情况需要处理不确定性, 2.我 ...
秦曾昌人工智能课程---5、KNN和朴素贝叶斯
秦曾昌人工智能课程---5.KNN和朴素贝叶斯一.总结一句话总结: 拟合和概率:构建机器学习模型,一般有拟合和概率两种方式轻学无用:一定要保证学有所用,要深入学习,比如之前做的安卓,一定要学通, ...
大白话5分钟带你走进人工智能-第31节集成学习之最通俗理解GBDT原理和过程
目录 1.前述 2.向量空间的梯度下降: 3.函数空间的梯度下降: 4.梯度下降的流程: 5.在向量空间的梯度下降和在函数空间的梯度下降有什么区别呢? 6.我们看下GBDT的流程图解: 7.我们看一个 ...
大白话5分钟带你走进人工智能-第30节集成学习之Boosting方式和Adaboost
目录 1.前述: 2.Bosting方式介绍: 3.Adaboost例子: 4.adaboost整体流程: 5.待解决问题: 6.解决第一个问题:如何获得不同的g(x): 6.1 我们看下权重与函数的 ...
大白话5分钟带你走进人工智能-第二十八节集成学习之随机森林概念介绍(1)
第二十八节集成学习之随机森林概念介绍(1) 从本系列开始,我们讲解一个新的算法系列集成学习. ...

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

一、总结

一句话总结：

其实机器模型减少variance的比较好的方式就是多个模型取平均值

1、CART是什么？

classification and regression tree

2、决策树模型的本质是什么？

divide the input space into a few regions

3、我们如何用决策树去做预测？

信息不同属性按重要性依次下分：先划分x1的范围，这就形成了一个二叉树分支，再划分x2的范围，就形成的决策树。

叶子节点是分类，也是预测：预测的话就是不同范围的(x1,x2)就对应了不同的y，这个y就是可以用作预测的

叶子节点是预测值：决策树，非叶子节点就是x1，x2的范围，叶子节点就是预测的值y

4、CART tree 分割的一个例子？

求不同分割的重要性：如果是1.5处分割，那么loss(1.5)=每一部分的差值平方和的和，比如第二部分xi={1-9}，x平均数=5，(xi-5)^2

5、CART tree的本质是什么？

二分·递归·分割树：感觉和线段树的分割非常相似，只不过cart tree的叶子节点是y值

6、如何用cart tree做集成学习？

多个角色投票产生：每个角色可能准确度不高，但是多个角色投票起来，准确率就高了很多（和多次模型取平均值很相似）

7、用cart tree做集成学习中Bagging 和 Boosting的区别是什么？

Bagging：每个臭皮匠的能力都是一样：每个模型是单独训练，方便做分布式，最后各个模型投票决定

Boosting：给臭皮匠分了等级：后一个模型的训练依赖于前一个，给分错的数据增加权限方便下一个模型分对，给训练的模型增加权限为了最后投票，最后也是各个模型投票决定

8、用cart tree做集成学习的好处是什么？

去掉了噪音：即那些不着边际的数据

二、内容在总结中

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles相关推荐

最新文章

热门文章

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles

一、总结

一句话总结：

其实机器模型减少variance的比较好的方式就是 多个模型取平均值

1、CART是什么？

classification and regression tree

2、决策树模型的本质是什么？

divide the input space into a few regions

3、我们如何用决策树去做预测？

信息不同属性按重要性依次下分：先划分x1的范围，这就形成了一个二叉树分支，再划分x2的范围，就形成的决策树。

叶子节点是分类，也是预测：预测的话就是不同范围的(x1,x2)就对应了不同的y，这个y就是可以用作预测的

叶子节点是预测值：决策树，非叶子节点就是x1，x2的范围，叶子节点就是预测的值y

4、CART tree 分割的一个例子？

求不同分割的重要性：如果是1.5处分割，那么loss(1.5)=每一部分的差值平方和的和，比如第二部分xi={1-9}，x平均数=5，(xi-5)^2

5、CART tree的本质是什么？

二分·递归·分割树：感觉和线段树的分割非常相似，只不过cart tree的叶子节点是y值

6、如何用cart tree做集成学习？

多个角色投票产生：每个角色可能准确度不高，但是多个角色投票起来，准确率就高了很多（和多次模型取平均值很相似）

7、用cart tree做集成学习中Bagging 和 Boosting的区别是什么？

Bagging：每个臭皮匠的能力都是一样：每个模型是单独训练，方便做分布式，最后各个模型投票决定

Boosting：给臭皮匠分了等级：后一个模型的训练依赖于前一个，给分错的数据增加权限方便下一个模型分对，给训练的模型增加权限为了最后投票，最后也是各个模型投票决定

8、用cart tree做集成学习的好处是什么？

去掉了噪音：即那些不着边际的数据

二、内容在总结中

秦曾昌人工智能课程---7、决策树集成学习Tree Ensembles相关推荐

最新文章

热门文章

其实机器模型减少variance的比较好的方式就是多个模型取平均值