第13章 集成学习和随机森林 学习笔记下 随机森林和集成学习
目录
13-5 随机森林和Extra-Trees
随机森林
Extra-Trees
13-6 Ada Boosting和Gradient Boosting
Boosting
Gradient Boosting
Boosting 解决回归问题
13-7 Stacking
13-5 随机森林和Extra-Trees
随机森林
from sklearn.ensemble import RandomForestClassifierrf_clf = RandomForestClassifier(n_estimators=500, oob_score=True, random_state=666, n_jobs=-1)
rf_clf.fit(X, y)rf_clf2 = RandomForestClassifier(n_estimators=500, max_leaf_nodes=16, oob_score=True, random_state=666, n_jobs=-1)
rf_clf2.fit(X, y)
rf_clf2.oob_score_Extra-Trees
from sklearn.ensemble import ExtraTreesClassifieret_clf = ExtraTreesClassifier(n_estimators=500, bootstrap=True, oob_score=True, random_state=666, n_jobs=-1)
et_clf.fit(X, y)13-6 Ada Boosting和Gradient Boosting
Boosting
在上一次的基础上处理未能正确处理的，然后集成
Gradient Boosting
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifierada_clf = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2), n_estimators=500)
ada_clf.fit(X_train, y_train)
from sklearn.ensemble import GradientBoostingClassifiergb_clf = GradientBoostingClassifier(max_depth=2, n_estimators=30)
gb_clf.fit(X_train, y_train)Boosting 解决回归问题
from sklearn.ensemble import AdaBoostRegressor
from sklearn.ensemble import GradientBoostingRegressor13-7 Stacking
可以是解决回归也可以分类问题
以概率为brige就可以实现分类和回归
数据集分为三份，一份在第一层使用，第二份在第二层使用，第三份使用第三层
有一点像神经网络，如果层数增多，则是深度学习
深度学习很多时候面临过拟合
第13章 集成学习和随机森林 学习笔记下 随机森林和集成学习相关推荐
- 【Python基础学习一】在OSX系统下搭建Python语言集成开发环境 附激活码
Python是一门简单易学,功能强大的编程语言.它具有高效的高级数据结构和简单而有效的面向对象编程方法.Python优雅的语法和动态类型以及其解释性的性质,使它在许多领域和大多数平台成为编写脚本和快速 ...
- 【技术综述】深度学习中的数据增强（下）
文章首发于微信公众号<有三AI> [技术综述]深度学习中的数据增强(下) 今天带来深度学习中的数据增强方法的下篇.我们将从以下几个方向入手.1,介绍一下什么是无监督的数据增强方法.2,简单 ...
- 集成学习算法之boosting、bagging和随机森林算法原理
集成学习的定义 集成学习的主要思路是先通过一定的规则生成多个学习器,再采用某种集成策略进行组合,最后综合判断输出最终结果.一般而言,通常所说的集成学习中的多个学习器都是同质的"弱学习器&qu ...
- 机器学习算法——详细介绍 集成学习，以及什么是Bagging、随机森林、Boosting、XGBoost
目录 一.集成学习算法简介 1.什么是集成学习 2.机器学习的两个核心任务 3.集成学习中boosting和Bagging 4.小结 二.Bagging和随机森林 1.Bagging集成原理 2.随机 ...
- 鸟哥的Linux私房菜-第10/11/12/13章（vim程序编辑器、学习bash、正则表达式与文件格式化处理、学习Shell Scripts）...
第10章 vim程序编辑器 可以将vim看做vi的进阶版本,vim可以用颜色或底线等方式来显示出一些特殊的信息. 为何要学习vim?因为: a. 所有的 Unix Like 系统都会内建 vi 文书编 ...
- java学习笔记(13) 第13章 - 常用类
第13 章常用类-目录 13.1 包装类 13.1.1 包装类的分类.包装类和基本数据的转换.案例演示.课堂测试 13.1.2 包装类型和String 类型的相互转换 13.1.3 Integer 类 ...
- 第13章 Kotlin 集成 SpringBoot 服务端开发（1）
第13章 Kotlin 集成 SpringBoot 服务端开发 本章介绍Kotlin服务端开发的相关内容.首先,我们简单介绍一下Spring Boot服务端开发框架,快速给出一个 Restful He ...
- Spring - Java/J2EE Application Framework 应用框架 第 13 章 集成表现层
第 13 章 集成表现层 13.1. 简介 Spring之所以出色的一个原因就是将表现层从MVC的框架中分离出来.例如,通过配置就可以让Velocity或者XSLT来代替已经存在的JSP页面.本章介绍 ...
- 统计学习方法第十一章作业：随机条件场—概率计算问题、IIS/GD学习算法、维特比预测算法 代码实现
随机条件场-概率计算问题.IIS/GD学习算法.维特比预测算法 这一章的算法不是很好写,整整研究了好几天,代码还是有点小问题,仅供参考. 用的是书上定义的特征函数. import numpy as n ...
- 《强化学习》中的第13章：策略梯度方法
前言: 本次笔记对<强化学习(第二版)>第十三章进行概括性描述. 以下概括都是基于我个人的理解,可能有误,欢迎交流:piperliu@qq.com. 让时间回到最开始:第二章多臂赌博机.在 ...
最新文章
- SVN 两种存储格式（BDB和FSFS）区别
- html工具类,一些小工具
- 详解设计模式之工厂模式(简单工厂+工厂方法+抽象工厂)
- ACL在路由器上设置例子
- yii2 请求外部api_[PHP] 基于redis的分布式锁防止高并发重复请求
- 让MessageBox在最前面弹出来的信息在
- 【牛客 - 318G】LLLYYY的数字思维 与【牛客 - 289J】这是一个沙雕题II（贪心构造）
- python解释器在语法上不支持什么编程_python解释器和编辑器的区别 - CSDN
- URL带中文参数的解决方法FR.cjkEncode()
- 圣人、仁人、君子、善人、士、小人之名简释
- 阿里云服务器使用xshell连接
- excellvba引用计算机用户名,EXCEL VBA 取当前登录 用户名的多种实现方法
- 将字符串数组含有特定字符的值输出{“张三丰“,“张翠山“,“张无忌“,“宋远桥“,“莫声谷“,“俞正声“}
- ios适配iPhone和iPad
- react-native设置应用启动页
- 最新的100个微信小程序-极乐Store
- 【程序人生】1024 程序员节——闲言鹤语
- gitpc段提交失败schannel: next InitializeSecurityContext failed: Unknown error (0x80092013
- 【数论】狄利克雷卷积
- my97 datepicker 自定义事件