1. 问题

张无忌在金大侠的世界里面就是一个Bug级别的存在。无论走到什么地方，都有美女一见倾心。虽然金庸自己说，小昭是他所有角色中最喜欢的，偏偏和张无忌走到走后的却是赵敏，不由让人遗憾。

于是我在琢磨，如果上天把她俩摆在我的面前，我会怎么选呢？

2. 分析

这可真是个难题，所以我们需要辅助工具。比如决策树(Decision Tree)，就是一个非常好的办法。

Decision Tree 是监督学习里面最简洁明了的一个算法。我们可以简单的把它理解成一个个 If/Then 的判断语句，通过不断的细化，最后给出结果。每次判断，都是先从最优特征下手，通过以损失函数最小化确定决策路径。最后生成的树，对于每一个条件，都是唯一且完备的。

比如说，老师可以根据学生的出勤率、回答问题次数、作业提交率等特征，预测学生的成绩分类。出勤率大于90%、作业提交率大于90%可以预测为 A，出勤率小于90%、作业提交率大于90%，可以预测为 B ……

原理上，决策树是基于信息增益选择特征。对于训练数据集，计算每个特征的信息增益，然后选择信息增益最大的特征进行判断。每次判断，都是在上一层判断里面进行细分，如下图所示

需要注意的是，决策树会对每个case都进行判断，容易导致过拟合。避免过拟合的方法有前处理(pre-pruning)和后处理(post-pruning)两种。前处理是一开始就指定树的最大深度，后处理是先生成完全的树，然后再进行剪枝，将不重要的特征合并至其父枝。scikit-learn里面采用的是前处理。

决策树虽然理解上容易，但理论也不简单。具体背后的原理可参考文献[5]，有非常详细的解读。

3. 实现

我们用经典的 Breast cancer dataset 做 Decision Tree 的实现

from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
import sklearn.datasets as datasetsX, y = datasets.load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y)tree = DecisionTreeClassifier()
tree = tree.fit(X_train, y_train)print("Training set score: {:.2f}".format(tree.score(X_train, y_train)))
print("Test set score: {:.2f}".format(tree.score(X_test, y_test)))

测试结果

Training set score: 1.00
Test set score: 0.95

好像不错。但是我们导出其决策结果看看就会发现，模型太过复杂了

|--- feature_22 <= 117.45
|   |--- feature_27 <= 0.16
|   |   |--- feature_13 <= 35.44
|   |   |   |--- feature_22 <= 112.80
|   |   |   |   |--- feature_21 <= 30.15
|   |   |   |   |   |--- class: 1
|   |   |   |   |--- feature_21 >  30.15
|   |   |   |   |   |--- feature_22 <= 101.30
|   |   |   |   |   |   |--- feature_20 <= 14.41
|   |   |   |   |   |   |   |--- class: 1
|   |   |   |   |   |   |--- feature_20 >  14.41
|   |   |   |   |   |   |   |--- feature_0 <= 13.08
|   |   |   |   |   |   |   |   |--- class: 0
|   |   |   |   |   |   |   |--- feature_0 >  13.08
|   |   |   |   |   |   |   |   |--- class: 1
|   |   |   |   |   |--- feature_22 >  101.30
|   |   |   |   |   |   |--- feature_2 <= 95.75
|   |   |   |   |   |   |   |--- class: 0
|   |   |   |   |   |   |--- feature_2 >  95.75
|   |   |   |   |   |   |   |--- class: 1
|   |   |   |--- feature_22 >  112.80
|   |   |   |   |--- feature_26 <= 0.35
|   |   |   |   |   |--- class: 1
|   |   |   |   |--- feature_26 >  0.35
|   |   |   |   |   |--- feature_15 <= 0.04
|   |   |   |   |   |   |--- class: 0
|   |   |   |   |   |--- feature_15 >  0.04
|   |   |   |   |   |   |--- class: 1
|   |   |--- feature_13 >  35.44
|   |   |   |--- feature_23 <= 874.85
|   |   |   |   |--- feature_25 <= 0.08
|   |   |   |   |   |--- class: 0
|   |   |   |   |--- feature_25 >  0.08
|   |   |   |   |   |--- feature_26 <= 0.29
|   |   |   |   |   |   |--- class: 1
|   |   |   |   |   |--- feature_26 >  0.29
|   |   |   |   |   |   |--- feature_18 <= 0.03
|   |   |   |   |   |   |   |--- class: 0
|   |   |   |   |   |   |--- feature_18 >  0.03
|   |   |   |   |   |   |   |--- class: 1
|   |   |   |--- feature_23 >  874.85
|   |   |   |   |--- class: 0
|   |--- feature_27 >  0.16
|   |   |--- feature_22 <= 97.16
|   |   |   |--- feature_21 <= 28.01
|   |   |   |   |--- class: 1
|   |   |   |--- feature_21 >  28.01
|   |   |   |   |--- class: 0
|   |   |--- feature_22 >  97.16
|   |   |   |--- class: 0
|--- feature_22 >  117.45
|   |--- feature_19 <= 0.00
|   |   |--- feature_2 <= 116.60
|   |   |   |--- class: 1
|   |   |--- feature_2 >  116.60
|   |   |   |--- class: 0
|   |--- feature_19 >  0.00
|   |   |--- class: 0

一个几百个数据的dataset就出现这么复杂的结果，实际应用时是不可接受的。测试模型正确率100%，显然出现了过拟合。我们设置最大深度限制一下

tree = DecisionTreeClassifier(max_depth=3)
tree = tree.fit(X_train, y_train)print("Training set score: {:.2f}".format(tree.score(X_train, y_train)))
print("Test set score: {:.2f}".format(tree.score(X_test, y_test)))

结果为

Training set score: 0.95
Test set score: 0.94

测试结果仅下降了 1%，但模型复杂度却大大降低

|--- feature_22 <= 117.45
|   |--- feature_27 <= 0.16
|   |   |--- feature_13 <= 35.44
|   |   |   |--- class: 1
|   |   |--- feature_13 >  35.44
|   |   |   |--- class: 1
|   |--- feature_27 >  0.16
|   |   |--- feature_22 <= 97.16
|   |   |   |--- class: 1
|   |   |--- feature_22 >  97.16
|   |   |   |--- class: 0
|--- feature_22 >  117.45
|   |--- feature_27 <= 0.09
|   |   |--- feature_19 <= 0.00
|   |   |   |--- class: 1
|   |   |--- feature_19 >  0.00
|   |   |   |--- class: 0
|   |--- feature_27 >  0.09
|   |   |--- class: 0

4. 总结

今天我们大致介绍了 Decision Tree 及其实现。决策树是非常有用的模型，而且结果易于解释，所以应用广泛。

回到最初的问题，用决策树模型，怎么决定到底是选赵敏还是选小昭呢？答案当然是选荔姐了。

荔姐才是世界上最好的丫头，吼吼~

相关代码均已上传到 Github(https://github.com/jetorz/Data2Science)，欢迎标记 Star。

5. 交流

独学而无友则孤陋寡闻。现有「数据与统计科学」微信交流群，内有数据行业资深从业人员、海外博士、硕士等，欢迎对数据科学、数据分析、机器学习、人工智能有兴趣的朋友加入，一起学习讨论。

大家可以扫描下面二维码，添加荔姐微信邀请加入，暗号：机器学习加群。

6. 扩展

6.1. 延伸阅读

线性回归模型 - 机器学习
逻辑回归模型原理及实现 - 机器学习
参数标准化 - 机器学习
大火的神经网络到底是什么 - 机器学习
怎样用支持向量机从零制作一个垃圾邮件识别器 - 机器学习
K-nearest Neighbors，隔壁小芳可还好 - 机器学习
为了联盟还是为了部落 - K means

6.2. 参考文献

G. James, D. Witten, T. Hastie R. Tibshirani, An introduction to statistical learning: with applications in R. New York: Springer, 2013.
T. Hastie, R. Tibshirani, J. H. Friedman, The elements of statistical learning: data mining, inference, and prediction, 2nd ed. New York, NY: Springer, 2009.
W. Härdle, L. Simar, Applied multivariate statistical analysis, 3rd ed. Heidelberg ; New York: Springer, 2012.
周志华, 机器学习 = Machine learning. 北京: 清华大学出版社, 2016.
李航, 统计学习方法. 北京: 清华大学出版社, 2012.

选赵敏还是选小昭，这可真是个问题 | Decision Tree相关推荐

在看《依天屠龙记》，赵敏、周芷若、小昭你更喜欢谁？
其实主要是赵敏和周芷若,张无忌这个家伙NND,纯粹就是taniang(他你昂)花花肠子,谁喜欢他他就喜欢谁. 注意是赵敏.周芷若.小昭,不是贾靖文.高圆圆.(小昭不认识). 我嘛,不喜欢赵敏,心狠手辣 ...
微信小程序筛选侧边栏全选与反全选
小程序中经常会有筛选侧边栏的按钮,今天用原生小程序实现这一功能. 1.wxml核心代码 <button class="filterBtn" bindtap="tra ...
小程序实现复选框全选和取消全选
页面逻辑是,在小程序复选框列表页面上单独放一个复选框用于全选(设置class为position: fixed;即可固定在页面上),当点击全选时,页面所有复选框都会勾上,再次点击后页面所有复选框的打√都 ...
前端小demo——全选和全不选
模拟购物车,实现全选或者全不选,或者其中任意一件单品单选的效果. 点击顶部复选框实现全选列表中任意一项未选中,顶部复选框就是未选中的状态 <!DOCTYPE html> <html ...
微信小程序乐园-checkbox（全选、全不选）
首先这是我的设计思路: 一.传入以下Json数据格式的数组 1.标题title 2.图片地址 3.数量num 4.价格price 5.是否选中selected 二.点击复选框toggle操作如已经选 ...
隔行换色案例||全选和全不选||QQ表情选择||多选下拉列表左右移动
01.隔行换色.html <!DOCTYPE html> <html><head><meta charset="UTF-8">< ...
复选框全选效果，根据单个复选框的选择情况确定全选复选框是否被选
复选框全选与全不选效果逻辑:复选框的checked属性与复选框全选效果对应起来,全选复选框checked:true 时,全部复选框checked:true: 全选框checked:false 时,全 ...
计算机专业是否限制语种,高考日语选什么专业（如果高考选日语，大学选专业有什么限制）...
如果高考选日语,大学选专业有什么限制大部分的专日语参加高考报考都限制,包括热门的金.计算机等,仅军校.部校英语专业需谨慎报考.具体限制还要看报考学校的具体要求. 在大学的<招生章程>中, ...
元素的选中问题元素选中的问题切换复选框选中全选和全不选
元素的选中问题 <!DOCTYPE html> <html lang="en"> <head><meta charset="UT ...

选赵敏还是选小昭，这可真是个问题 | Decision Tree