1 致谢

感谢陈助教的讲解！
陈助教好厉害呀！

2 前言

今天在学习Kaggle数据比赛的相关知识，钟老师第一节课在讲LightGBM，涉及到决策树的相关知识但是我不太了解决策树这些相关的知识，所以需要重新复习一下～

3 信息熵的学习笔记

信息熵其实可以看作事件发生的概率与信息量之间的博弈，
事件的概率越低，表示发生的可能性越小，是一个关于概率的增函数，y=P(x)y=P(x)y=P(x)；
而信息量（自信息）是一个关于概率的减函数，因为概率越小，意味着这件事“越秘密，越不为人所知”，所以它的信息量越大，即y=−log(P(x))y=-log(P(x))y=−log(P(x))；
这里我们引用赵老师的讲解比较容易理解：
熵 --> 不确定性 --> 信息量
我觉得这个“不确定性”挺好理解的；

决策树——信息熵的学习笔记相关推荐

Kaldi决策树状态绑定学习笔记（一）
建议在csdn资源页中免费下载该学习笔记的PDF版进行阅读:)点击进入下载页面 Kaldi决策树状态绑定学习笔记(一) --如何累积相关统计量? 目录 Kaldi决策树状态绑定学习笔记一如何累积相关 ...
【DataWhale学习】Day10~13-4章决策树——西瓜书学习摘录笔记
[DataWhale学习]Day10~13-4章决策树--西瓜书学习摘录笔记本文参考了周志华老师的西瓜书,李航老师的统计学习方法,谢文睿大佬的南瓜书(无推导尿点,仅加深理解食用) 决策树模型决 ...
python3《机器学习实战系列》学习笔记----3.2 决策树实战
前言一.ID3算法构造决策树 1.1 背景 1.2 信息增益计算 1.3 递归生成决策树二.使用Matplotlib注解绘制树形图 2.1 Matplotlib注解 2.2 构造注解树三.测试和 ...
机器学习入门学习笔记：（3.2）ID3决策树程序实现
前言之前的博客中介绍了决策树算法的原理并进行了数学推导(机器学习入门学习笔记:(3.1)决策树算法).决策树的原理相对简单,决策树算法有:ID3,C4.5,CART等算法.接下来将对ID3决策树算法 ...
统计学习方法学习笔记（十）：决策树
这一个学习笔记将要了解决策树,在研一上机器学习这门课的时候,老师在讲到这一节的时候,举了一个例子我现在还能记得:你们坐在这里上课,就像这个决策树一样,在你人生中的每一个重要结点,你都做出了选择,经过多 ...
机器学习理论《统计学习方法》学习笔记：第五章决策树
机器学习理论<统计学习方法>学习笔记:第五章决策树决策树 5.1 决策树模型与学习 5.1.1 决策树模型 5.1.2 决策树与if-then规则 5.1.3 决策树与条件概率分布 5 ...
决策树模型(ID3/C4.5/CART)原理和底层代码解读学习笔记
本文作者:合肥工业大学管理学院钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流. 未经本人允许禁止转载如下为个人的学习笔记,使用latex编写,再写成文本太麻烦 ...
python数据挖掘学习笔记】十九.鸢尾花数据集可视化、线性回归、决策树花样分析
#2018-04-05 16:57:26 April Thursday the 14 week, the 095 day SZ SSMR python数据挖掘学习笔记]十九.鸢尾花数据集可视化.线性回 ...
juyter显示决策树图形_关于决策树可视化的treePlotter(学习笔记）
网上的版本好像好久都没更新了treePlotter是没有人用了么.今天学习的时候发现有些地方已经改了,我改的是在python 3.6 上的运行版本,需要导入matplotlib.pyplot impo ...

决策树——信息熵的学习笔记

1 致谢

2 前言

3 信息熵的学习笔记

决策树——信息熵的学习笔记相关推荐

最新文章

热门文章