一、前言

我们今天来讲一讲决策树的第一课：简单的决策树

我们的背景是这样的：

你准备去一家餐厅吃饭，但是餐厅已经满了，你想要知道应不应该等待餐厅出现空位。

表格如下：

ALT：这附近还有合适的餐厅吗

BAR：有等待区可以等候吗

FRI：是否是周五

PATRONS：有多少人正在吃饭

PRICE：价格是否昂贵

RES：是否有预约？

TYPE：什么菜系

EST：预计的等待时间

WILLWAIT：是否要等待

二、简单的决策树

那我们就要分析，这些属性是否与结果有着关系？

我们最朴素的想法，就是画个树状图来还原我们做决策的过程

我们的过程可能是这样的：

他的伪代码可能是：

很简单对吧。

但是你有没有发现一个问题，那就是：这样的决策树，他的运算复杂度是指数级的，因为你可能有不同的决策顺序，选择属性的可能顺序数已经是指数级的了。同时找出最小的决策树还是一个NP-Hard的问题（我们后面几个课会说什么事NP难问题）。

那怎么办呢？

三、假设空间

学习可以定义为：对所有观测数据搜索最佳假设。

那么对于决策树来说，假设空间是一个数据集所能生成的所有可能的决策树。

而学习的任务是：搜索整个空间，并返回最佳假设。但是，在一个小空间里，可以检验所有的假设。如果这个可能的决策树很多呢？

四、你是如何评估学习的？

我们每个人都在学习，那么大家是如何评估学习质量的好坏呢？最直观的方式就是考试，最简单的方式就是使用考试分数。那么分数就是一个评估学习好坏的重要手段。那我们能不能也给决策树一个分数呢？

首先我们要制定打分的规则，这很重要。

我们如何找到最好的“规则”(特征、阈值和叶标签)？

为规则定义一个“分数”
搜索与最好的分数规则

最直观的评分:分类准确率

当然只有分数还不够，我们都是贪婪的，都想拿到最好的分数。那对于机器学习也是这样，我们不防使用贪婪算法。

五、贪婪的递归分割

我们现在有这样的数据集：我们想找到过敏原是什么：

我们首先通过观察，找到最佳准确率的牛奶分类如下：

然后我们生成第一组树：

之后我们继续细分：

直到：

不能进一步分裂一个叶节点，例如，只有一个例子在叶节点
叶子只有一个标签。
用户自定义最大深度

这三者是“或”的关系，当然也可以组合评判。

六、问题所在

请注意，高的准确率就一定是好的模型么？

先留下思考。下一节继续说。

【机器学习、深度学习与强化学习】机器学习（2）---决策树（1）相关推荐

机器学习、深度学习、强化学习课程超级大列表！
点击上方"AI有道",选择"星标"公众号重磅干货,第一时间送达今天推荐一个机器学习.深度学习.强化学习完整的线上资源.收获 star 7k!内容非常丰富,且 ...
人工智能、机器学习、深度学习、强化学习、迁移学习概念辨析
整体来看:AI>机器学习(ML)>深度学习=强化学习=迁移学习一.人工智能 1956年,计算机科学家 John McCarthy提出了"人工智能"的 ...
机器学习分支之一：强化学习
强化学习的发展历史强化学习的理论知识强化学习的应用案例强化学习的特点与未来凡是过往,皆为序章. --莎士比亚<暴风雨> "知往鉴今",为了更好地学习强化学习,需 ...
机器学习笔记(十六)强化学习
16.强化学习 16.1任务与奖赏强化学习(reinforcementlearning)的过程就是机器通过一系列的动作和环境交互,从而得到最佳的动作序列.图示: 强化学习任务用马尔可夫决策(Mark ...
机器学习读书笔记：强化学习
文章目录强化学习基本模型 K-摇臂赌博机模型 ϵ\epsilonϵ-贪心 Softmax 有模型学习策略评估策略改进免模型学习蒙特卡洛强化学习采样策略改进时态差分学习值函数近似模仿 ...
B站上线！DeepMind加UCL强强联手推出深度学习与强化学习进阶课程（附视频）
新智元报道编辑:元子 [新智元导读]DeepMind和伦敦大学学院(University College London,UCL)合作,推出了一个系列的深度学习与强化学习精品进阶课程.该课程内 ...
深度强化学习和强化学习_深度强化学习：从哪里开始
深度强化学习和强化学习 by Jannes Klaas 简尼斯·克拉斯(Jannes Klaas) 深度强化学习:从哪里开始 (Deep reinforcement learning: where t ...
八千字长文深度解读，迁移学习在强化学习中的应用及最新进展
点击我爱计算机视觉标星,更快获取CVML新技术本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载. 机器之心原创作者:Luo Sainan 编辑:H4O 迁移学习通 ...
【资源下载】DeepMindUCL深度学习与强化学习进阶课程
点击我爱计算机视觉标星,更快获取CVML新技术本文课程介绍部分来自机器之心,因为原视频国内无法观看,所以我爱计算机视觉费了老大劲专门搬到国内分享给大家,下载方法见文末. 11月23日,DeepMin ...
dpg learning 和q_深度学习和强化学习之间的差别有多大？
我是做深度强化学习的(Deep Reinforcement Learning)的,这个问题有趣.我对@张馨宇他在此问题下的简洁回答非常认同:"可以用深度学习这个工具来做强化学习这个任务,也可 ...

【机器学习、深度学习与强化学习】机器学习（2）---决策树（1）