机器学习基础（二十四）—

从树（Tree）到森林（Forest），森林自然是一堆树的 aggregation，而 Random Forest 又要求森林是 Random 的，random 通过 bootstrap 采样保证。

random forest(RF)=bagging + fully-grown C&RT decision Tree

\text{random forest(RF)=bagging + fully-grown C&RT decision Tree}

也即随机森林，以 BAGging 的方式把一堆 decision trees aggregation 起来，基于的思想是：

（1）BAGging 通过 voting/averaging 的方式降低了 variance（方差，不稳定度）
（2）而 decision tree 因为是对逐列地对列上的值进行切分，对数据集具有较大的敏感度。

因为 decision tree 本身就是 aggregation，

G(x)=∑c=1C1b(x)=cGc(x)

G(\mathbf x)=\sum_{c=1}^C1_{b(\mathbf x)=c}G_c(\mathbf x)
再加上通过 Bootstrap 有放回抽样的方式得到的不同的数据集（randomnes），送到 decision tree 中训练得到不同的分类器，最后再采用BAGging 的投票或者平均的方式得到最终的分类结果。

random forest: aggregation of aggregation

\text{random forest: aggregation of aggregation}

从 BAGging 的角度说，random forest 其实是 BAGging 的一个特例，将 base algorithm 指定为 decision tree。

为了增加随机性，通过 Bootstrap 方法不仅可以抽样不同的样本，也可以抽取不同的属性列（叫做 feature projection），新版本的 random forest：

RF = bagging + random-subspace C&RT

\text{RF = bagging + random-subspace C&RT}

feature projection 的动作在每次做 branch 的时候执行；

机器学习基础（二十四）—— Random Forest相关推荐

机器学习笔记二十四中文分词资料整理
一.常见的中文分词方案 1. 基于字符串匹配(词典) 基于规则的常见的就是最大正/反向匹配,以及双向匹配. 规则里糅合一定的统计规则,会采用动态规划计算最大的概率路径的分词. 以上说起来很简单,其中还 ...
机器学习（二十四）——数据不平衡问题, 强化学习
https://antkillerfarm.github.io/ 数据不平衡问题 https://mp.weixin.qq.com/s/e0jXXCIhbaZz7xaCZl-YmA 如何处理不均衡数据 ...
机器学习基础（十四）—— 统计计数、majority count 与其数学记号
编程与数学,程序语言与数学语言,如此完美地呼应,虽在表达上.在实现上略有差异. 获取一个序列中出现次数最多的元素,也即如果序列的每个位置都比做一个人(或者一个分类器),该位置上的值表示他做出的选择.投 ...
机器学习知识点(二十四)隐马尔可夫模型HMM维特比Viterbi算法Java实现
1.隐马尔可夫模型HMM 学习算法,看中文不如看英文,中文喜欢描述的很高深. http://www.comp.leeds.ac.uk/roger/HiddenMarkovModels/ht ...
吴恩达机器学习（二十四）核函数
我们将改造支持向量机算法,来构造比较复杂的非线性分类器,主要的技巧是称之为核(kernel)的东西,接下来我们看看核函数是什么以及如何使用它. 1.如果有一个这样的训练集,然后希望拟合一个非线 ...
零基础带你学习MySQL—not null 非空（二十四）
零基础带你学习MySQL-not null 非空(二十四)
mysql循环查询一个表中的数据并进行修改_JavaScript学习笔记（二十四）-- MYSQL基础操作...
MYSQL mysql 是一个数据库的名字和 php 合作的比较好的数据库之前我们说过一个问题,前端向后端索要数据,后端就是去数据库中查询数据,返回给前端接下来就聊聊使用 php 操作数据库 M ...
JAVASE基础模块二十四（泛型）
JAVASE基础模块二十四(泛型) 泛型的引出我们这样定义一个obj类的时候使用的时候需要向下转型会很麻烦 public class Fananan {public static void ma ...
机器学习基础篇（四）——交叉验证
机器学习基础篇(四)--交叉验证一.概述交叉验证是在机器学习建立模型和验证模型参数时常用的办法.顾名思义,交叉验证就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用训练集 ...
计算机视觉面试宝典--深度学习机器学习基础篇（四）
计算机视觉面试宝典–深度学习机器学习基础篇(四) 本篇主要包含SVM支持向量机.K-Means均值以及机器学习相关常考内容等相关面试经验. SVM-支持向量机支持向量机(support vector ...

机器学习基础（二十四）—— Random Forest

机器学习基础（二十四）—— Random Forest相关推荐

最新文章

热门文章