ObjectT5：在线随机森林-Multi-Forest-A chameleon in track in

原文：：Multi-Forest：A chameleon in tracking，CVPR2014 下的蛋...原文

使用随机森林的优势，在于可以使用GPU把每棵树分到一个流处理器里运行，容易并行化实现。

OpenCV中的使用：OpenCV：使用随机森林与GBDT

随机森林的优点：http://www.cnblogs.com/wentingtu/archive/2011/12/13/2286212.html

在数据集上表现良好
在当前的很多数据集上，相对其他算法有着很大的优势
它能够处理很高维度（feature很多）的数据，并且不用做特征选择
在训练完后，它能够给出哪些feature比较重要
在创建随机森林的时候，对generlization error使用的是无偏估计
训练速度快
在训练过程中，能够检测到feature间的互相影响
容易做成并行化方法
实现比较简单

（1）:在线Boost

使用在线Boosting项目主页：http://www.vision.ee.ethz.ch/boostingTrackers/index.htm

使用在线boosting学习的Code：http://www.vision.ee.ethz.ch/boostingTrackers/download.htm

使用Haar特征树作为弱分类器，取得不错的效果。但是速度稍慢。

（2）:在线随机森林：

09年，ICCV 上的文章，效果和离线的random forest差不多，特别的牛。可以做分类，也可以做预测....

程序下载：http://www.everbox.com/f/7igWhZFJBp7xxqmbaM6UyewatN

这里介绍的主要是在线随机决策树，其思想主要是：每棵树可以在线分裂。每个叶子分裂的条件是预测的数量要达到一定的值和每个叶子节点信息。

每个树的生长主要通过预测的样本（在线接受的样本），每棵树的叶子节点分裂主要根据该节点的熵或Gini

学过决策树和信息论的，对这个概念都有了解。其中j表示第j棵树，i表示第i个分类结果。K表示总的分类数。

对有一个给定的结合S（在线预测中给定），每棵树上叶子节点P_j的的概率可以表示为：

如果要在P_j叶子节点分类，那么，得到二个叶子节点的概率可以用下式表示：

and

解释一下 P_jls，l为left，s为测试集合。所以P_jls表示为在集合S中P_j叶子节点的分列的左节点。同理，P_jrs表示为在集合S中P_j叶子节点的分列的右节点。

那么，每棵树上叶子节点P_j分裂必须符合以下二个条件：

1. 落在叶子节点P_j的个数必须大于一个常数（可以人工设定）

2. 叶子节点的Gini必须大于一个常数（可以人工设定），Gini计算公式如下：

以上步骤就完成整个树的更新。

步骤3. 用个possion分布确定从采样的次数，其原理见online boosting： http://www.cnblogs.com/liqizhou/archive/2012/05/10/2494145.html

步骤6. u代表分类的类别。

步骤7. j代表第t棵树上叶子节点。

步骤8. 统计第j个叶子节点的数目和计算Gini

步骤9. 判断条件是否分裂的二个条件。

步骤10. 在符合条件的叶子节点中，选择一个Gini最大的叶子节点作为分类节点。

以上就是online Random forests 的主要思想

下面给出了在线随机森林算法的流程：

待写....

ObjectT5：在线随机森林-Multi-Forest-A chameleon in track in相关推荐

随机森林(Random Forest)和梯度提升树(GBDT)有什么区别？
随机森林(Random Forest)和梯度提升树(GBDT)有什么区别? 随机森林属于集成学习中的 Bagging(Bootstrap AGgregation 的简称) 方法. 随机森林是由很多 ...
【机器学习】随机森林 – Random forest
文章目录一.随机森林是什么? 1. 随机森林是一种集成学习算法 2. 随机森林的基学习器是决策树二.随机森林 – Random Forest | RF 三.构造随机森林的 4 个步骤四.随机森林 ...
初勘数据处理之预测算法（随机森林random forest）附matlab源码
初勘数据处理之预测算法(随机森林random forest)附matlab源码集成学习方法集成学习方法,是整合多个分类方法的预测结果,以提高分类准确率.集成学习方法先用训练数据构建一组基分类器,再 ...
随机森林 – Random forest
随机森林 – Random forest 随机森林是一种由决策树构成的集成算法,他在很多情况下都能有不错的表现. 本文将介绍随机森林的基本概念.4 个构造步骤.4 种方式的对比评测.10 个优缺点和 ...
机器学习方法（六）：随机森林Random Forest，bagging
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 前面机器学习方法(四)决策树讲了经典 ...
随机森林Random Forest，bagging
欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld. 技术交流QQ群:433250724,欢迎对算法.技术感兴趣的同学加入. 前面机器学习方法(四)决策树讲了经 ...
通俗解读随机森林Random Forest
通俗解读随机森林Random Forest 写在前面 1. 什么是集成学习 2. 什么是Bagging 3 随机森林写在前面声明:本文主要参考的是周志华老师的<机器学习>西瓜书,参杂了 ...
【ML】随机森林(Random Forest) 从入门到放弃再到掌握
目录集成学习决策树 Boosting Adaboost GBDT 梯度提升决策树是属于boosting集成学习的一种方法,通过构建多颗CART回归树,每一轮利用上一轮学习器的残差进行树的创建.该残 ...
spark mllib源码分析之随机森林(Random Forest)
Spark在mllib中实现了tree相关的算法,决策树DT(DecisionTree),随机森林RF(RandomForest),GBDT(Gradient Boosting Decision Tr ...

ObjectT5：在线随机森林-Multi-Forest-A chameleon in track in

ObjectT5：在线随机森林-Multi-Forest-A chameleon in track in相关推荐

最新文章

热门文章