随机森林简介

随机森林是一种通用的机器学习方法，能够处理回归和分类问题。它还负责数据降维、缺失值处理、离群值处理以及数据分析的其他步骤。它是一种集成学习方法，将一组一般的模型组合成一个强大的模型

工作原理

我们通过适用随机的方式从数据中抽取样本和特征值，训练多个不同的决策树，形成森林。为了根据属性对新对象进行分类，每个数都给出自己的分类意见，称为“投票”。在分类问题下，森林选择票数最多的分类；在回归问题下则适用平均值的方法。

随机森林是基于Bagging方法的集成模型，Bagging的示例如下：

若每个分类模型都是决策树，那就构成了随机森林。Bagging方法通过抽样的方式获得多份不同的训练样本，在不同的训练杨版本上训练决策树，从而降低了决策树之间的相关性。同时还通过特征的随机选取，特征阈值的随机选取两种方式产生随机性，进一步降低决策树之间的相关性。

随机森林优缺点

优点：

  • 能够处理更高维度的大数据集，并能够识别最重要的变量，当作一种降维方法
  • 有效估计丢失值，保持较高准确性
  • 处理不平衡类数据集上的平衡问题
  • 袋外误差估计可以去除备用测试集

随机森林输入替换后数据样本称为自助抽样。其中三分之一的数据不用于训练但是可用来预测，被称为袋外样本。在这些袋外样本上估计的误差成为袋外误差。

缺点:

  • 随机森林已经被证明在某些噪音较大的分类或回归问题上会过拟合。
  • 对于有不同取值的属性的数据，取值划分较多的属性会对随机森林产生更大的影响，所以随机森林在这种数据上产出的属性权值是不可信的

随机森林优缺点参考：

一文看懂随机森林 - Random Forest（4个实现步骤+10个优缺点）​easyai.tech

各维度 特征 重要程度 随机森林_机器学习算法——随机森林相关推荐

  1. 机器学习算法-随机森林之理论概述

    前面我们用 3 条推文从理论和代码角度讲述了决策树的概念和粗暴生成. 机器学习算法-随机森林之决策树R 代码从头暴力实现(3) 机器学习算法-随机森林之决策树R 代码从头暴力实现(2) 机器学习算法 ...

  2. 机器学习算法-随机森林初探（1）

    机器学习算法-随机森林之理论概述 表达数据集来源于 https://file.biolab.si/biolab/supp/bi-cancer/projections/. 为了展示随机森林的能力,我们用 ...

  3. 机器学习算法-随机森林之决策树R 代码从头暴力实现（3）

    前文 (机器学习算法 - 随机森林之决策树初探(1)) 讲述了决策树的基本概念.决策评价标准并手算了单个变量.单个分组的Gini impurity.是一个基本概念学习的过程,如果不了解,建议先读一下再 ...

  4. 机器学习算法-随机森林之决策树R 代码从头暴力实现（2）

    前文(机器学习算法 - 随机森林之决策树初探(1))讲述了决策树的基本概念.决策评价标准并手算了单个变量.单个分组的Gini impurity.是一个基本概念学习的过程,如果不了解,建议先读一下再继续 ...

  5. 在envi做随机森林_基于模糊孤立森林算法的多维数据异常检测方法

    引用:李倩, 韩斌, 汪旭祥. 基于模糊孤立森林算法的多维数据异常检测方法[J]. 计算机与数字工程, 2020, 48(4): 862-866. 摘要:针对孤立森林算法在进行异常检测时,忽略了每一条 ...

  6. 随机森林原理_机器学习(29):随机森林调参实战（信用卡欺诈预测）

    点击"机器学习研习社","置顶"公众号 重磅干货,第一时间送达 回复[大礼包]送你机器学习资料与笔记 回顾 推荐收藏>机器学习文章集合:1-20 机器学习 ...

  7. 【机器学习】机器学习算法 随机森林学习 之决策树

    随机森林是基于集体智慧的一个机器学习算法,也是目前最好的机器学习算法之一. 随机森林实际是一堆决策树的组合(正如其名,树多了就是森林了).在用于分类一个新变量时,相关的检测数据提交给构建好的每个分类树 ...

  8. 机器学习算法 随机森林学习 之决策树

    随机森林是基于集体智慧的一个机器学习算法,也是目前最好的机器学习算法之一. 随机森林实际是一堆决策树的组合(正如其名,树多了就是森林了).在用于分类一个新变量时,相关的检测数据提交给构建好的每个分类树 ...

  9. 机器学习算法 - 随机森林之决策树初探（1）

    随机森林是基于集体智慧的一个机器学习算法,也是目前最好的机器学习算法之一. 随机森林实际是一堆决策树的组合(正如其名,树多了就是森林了).在用于分类一个新变量时,相关的检测数据提交给构建好的每个分类树 ...

最新文章

  1. TensorFlow实现超参数调整
  2. 29、剑指offer--最小的K个数
  3. OpenGL ES 3D 粒子系统小结
  4. Error和Exception（异常）
  5. linux下Zlib的安装与使用
  6. 人工智能实战_第八次作业_手写数学式子识别_廖盈嘉
  7. python代码计算矩形面积_Python面积计算器源代码
  8. 关于最近有人恶意诽谤Yeslab的回应！
  9. R语言基本统计分析方法（包及函数）
  10. word自动生成目录的最后一个大标题页码前没有点点点连接线解决方案
  11. cf 1102F Elongated Matrix
  12. Lab: Exploiting XSS to perform CSRF：利用XSS执行CSRF
  13. matlab 打开xls文件,matlab中读取excel的xls文件
  14. Android Studio NDK环境配置及JNI使用方法
  15. 数据结构考研复习 | Fibonacci数列的递归、数组、迭代(循环)实现及其时间复杂度
  16. HttpClient的使用教程
  17. 数据结构详解——最大（小）左倾树
  18. NRF24LE1E与NRF24LE1G的区别
  19. 职称计算机每次评都要高吗,计算机评中级职称都需要什么？
  20. 脑机接口系列课程（二） SSVEP介绍及相关软件的安装、实验范式的搭建

热门文章

  1. C++11：委托构造函数
  2. Java匿名内部类总结
  3. uart——51程序
  4. C语言如何实现面向对象？
  5. 一文搞定时间复杂度和空间复杂度
  6. el-date-picker设置默认日期_ERP入门教程：快速掌握金蝶ERP的基础-物料批次管理的应用及设置...
  7. Skyscraper
  8. java opencv 开发环境_在IntelliJ IDEA 13中配置OpenCV的Java开发环境
  9. 数据结构与算法 / 字符串匹配 / Trie 树
  10. 数据结构与算法 / UUID 和 GUID 区别和联系