机器学习之决策树算法-概念和学习过程
1. 概念
决策树是通过一系列规则对数据进行分类的过程，它提供一种在什么条件下会得到什么值的类似规则的方法。决策树分为分类树和回归树两种，分类树对离散变量做决策树，回归树对连续变量做决策树。
分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点，内部节点表示一个特征或属性，叶节点表示一个类。
直观看上去，决策树分类器就像判断模块和终止块组成的流程图，终止块表示分类结果（也就是树的叶子）。判断模块表示对一个特征取值的判断（该特征有几个值，判断模块就有几个分支）。
引用网上的一个栗子：
母亲：给你介绍个对象。
女儿：年纪多大了？
母亲：26。
女儿：长的帅不帅？
母亲：挺帅的。
女儿：收入高不？
母亲：不算很高，中等情况。
女儿：是公务员不？
母亲：是，在税务局上班呢。
女儿：那好，我去见见。
用决策树来表示：
作为一个码农经常会不停的敲if, else if, else,其实就已经在用到决策树的思想了。只是你有没有想过，有这么多条件，用哪个条件特征先做if，哪个条件特征后做if比较优呢？怎么准确的定量选择这个标准就是决策树机器学习算法的关键了。
2. 决策树的学习过程
一棵决策树的生成过程主要分为以下3个部分:
特征选择：
特征选择是指从训练数据中众多的特征中选择一个特征作为当前节点的分裂标准，如何选择特征有着很多不同量化评估标准标准，从而衍生出不同的决策树算法。
1、 为什么要做特征选择
在有限的样本数目下，用大量的特征来设计分类器计算开销太大而且分类性能差。
2、 特征选择的确切含义
将高维空间的样本通过映射或者是变换的方式转换到低维空间，达到降维的目的，然后通过特征选取删选掉冗余和不相关的特征来进一步降维。
3、 特征选取的原则
获取尽可能小的特征子集，不显著降低分类精度、不影响类分布以及特征子集应具有稳定适应性强等特点
决策树生成：
根据选择的特征评估标准，从上至下递归地生成子节点，直到数据集不可分则停止决策树停止生长。 树结构来说，递归结构是最容易理解的方式。
剪枝：
由于决策树算法的特性，容易使得对特征的学习过度细分，从而出现分类不准的情况，比如，把某一个特殊特特征当做类别的判断标准，从而把不具有某特殊属性的数据划分到此类别之外。这种情况叫过拟合，英文叫overfitting直译就是过度匹配，也就是匹配太细化，有点过了。要解决这个问题，就要把决策树进行简化，把一些太细化的特性去掉，反应在树形结构上就是去掉一些分支，术语叫剪枝。剪枝技术有预剪枝和后剪枝两种。
更多文章关注微信公众号“挨踢学霸”
机器学习之决策树算法-概念和学习过程相关推荐
- python决策树实例_Python机器学习之决策树算法实例详解
本文实例讲述了Python机器学习之决策树算法.分享给大家供大家参考,具体如下: 决策树学习是应用最广泛的归纳推理算法之一,是一种逼近离散值目标函数的方法,在这种方法中学习到的函数被表示为一棵决策树. ...
- 机器学习：决策树算法(ID3算法)的理解与实现
机器学习:决策树算法(ID3算法)的理解与实现 文章目录 机器学习:决策树算法(ID3算法)的理解与实现 1.对决策树算法的理解 1.概述 2.算法难点 选择最优划分属性 1.信息熵 2.信息增益 2 ...
- 机器学习算法——决策树算法详细介绍，并使用sklearn实现案例预测，可视化决策树
目录 一.决策树算法简介 二.决策树分类原理 1.熵 1.1 概念 1.2 案例 2.决策树的划分依据一:信息增益 2.1 概念 2.2 案例: 3.决策树的划分依据二:信息增益率 3.1 概念 3. ...
- 机器学习之决策树算法前期（创建、分类及展示）
一.什么是决策树? 决策树算法是一种逼近离散函数值的方法.它是一种典型的分类方法,首先对数据进行处理,利用归纳算法生成可读的规则和决策树,然后使用决策对新数据进行分析.本质上决策树是通过一系列规则对数 ...
- 机器学习3决策树算法模型
决策树算法模型 1.什么是决策树? 2.决策树的归纳 2.1 (选择分裂特征)特征的选择 2.2 决策树的生成 2.2.1 ID3 算法 2.2.2 C4.5 算法 2.2.3 Card算法 2.2 ...
- 机器学习基础 决策树算法
文章目录 一.决策树算法简介 二.决策树分类原理 1. 熵 1.1 概念 1.2 案例 2. 决策树的划分依据一----信息增益 2.1 概念 2.2 案例 3. 决策树的划分依据二----信息增益率 ...
- 『机器学习』 —— 决策树算法（Decision Tree）
文章首发地址见个人博客 决策树(Decision Tree) 1.机器学习算法中分类和预测算法的评估 准确率 速度 强壮性 可规模性 可解释性 2.什么是决策树(Decision Tree)? 决策树 ...
- 【机器学习】决策树算法
在前一期介绍搭建结合机器学习的CI/CD管道时,无意中提到了算法分类.在受监督学习的分类中,有一个既适用于回归又适用于分类的算法,即我们今天要介绍的决策树算法(CART, Classification ...
- 机器学习实战--决策树算法
决策树 决策树(decision tree)是一种基本的分类与回归方法.从判断模块引出的左右箭头称为分支,它可以达到另外一个判断模块或者终止模块.分类决策树模型是一种描述对实例进行分类的树形结构.决策 ...
最新文章
- java中的foreach_java中的foreach语句
- 图像分类：常用分类网络结构（附论文下载）
- .NET Core快速入门教程 2、我的第一个.NET Core App（Windows篇）
- 使用Apriori进行关联分析（二）
- 作为window对象属性的元素 多窗口和窗体
- python脚本自动运行失败_Linux中定时任务执行python脚本失败的解决方法
- （03）VHDL实现D触发器
- 实验二 动态规划算法 最长公共子序列问题
- Ubuntu18.04下QSqlDatabase: QMYSQL driver not loaded
- 二十二、Oracle学习笔记：Oracle异常
- 人机交互技术的发展趋势是怎样的?
- 树形DP（Simple Tree，玲珑杯 Round#8 B lonlife 1080）
- 谷歌退出中国谁对谁错
- Mini 车迷的「终极乐趣方程式」快看看地表最强乐趣小车JCW
- 10.图灵学院-----阿里/京东/滴滴/美团整理----安全验证篇
- 如何看待国企纷纷卸载微软Office改用金山WPS？
- [LeetCode]题解（python）：155-Min Stack
- 【转载】基于LLVM Pass实现控制流平坦化
- HDU-4510-日期
- 计算机bios设置翻译,电脑BIOS全文翻译，做系统设置对照翻译，玩转U盘安装系统！...