Meachine Leaning

决策树

决策树可以看作时if-then规则的集合，还可以看作给定特征条件下类的条件概率分布。
决策树学习包括三个步骤：特征选择，决策树生成，决策树剪枝。
决策树损失函数时正则化的极大似然函数，该损失函数下选择最优决策树是NP完全问题。通常采用启发时方法近似求解。
决策树生成算法：
- ID3：使用信息增益作为特征选择方法
G(D,A)=H(D)−H(D∣A)G(D,A)=H(D)-H(D|A) G(D,A)=H(D)−H(D∣A)
- C4.5：使用信息增益比作为特征选择方法
GR(D,A)=G(D,A)HA(D)HA(D)=−∑in∣Di∣Dlog(∣Di∣D)G_R(D,A)=\frac{G(D,A)}{H_A(D)}\\ H_A(D)=-\sum_i^n\frac{|D_i|}{D}log(\frac{|D_i|}{D}) GR(D,A)=HA(D)G(D,A)HA(D)=−i∑nD∣Di∣log(D∣Di∣)
- CART：使用基尼指数作为特征选择方法。生成的是一颗二叉树
Gini(p)=∑(k=1)Kpk(1−pk)=1−∑k=1Kpk2Gini(p)=\sum(k=1)^Kp_k(1-p_k)=1-\sum_{k=1}^Kp_k^2 Gini(p)=∑(k=1)Kpk(1−pk)=1−k=1∑Kpk2
决策树的剪枝：
- 预剪枝：到一定深度就不再生成
- 后剪枝：从下向上进行剪枝。如何剪枝后正则化的极大似然函数损失下降，则剪枝。损失函数：

Loss(T)=∑t=1∣T∣NtHt(T)+α∣T∣Loss(T)=\sum_{t=1}^{|T|}N_tH_t(T)+\alpha|T| Loss(T)=t=1∑∣T∣NtHt(T)+α∣T∣

Meachine Leaning相关推荐

[RL] 深入理解Tabular Leaning (MC/TD) 过程中的梯度下降使用
深入理解Tabular Leaning过程中的梯度下降使用: i.e. Tabular Leaning:TD/MC/DP 梯度下降: GD/SGD/Semi-GD 在强化学习中,众多Tabular算法 ...
独家思维导图！让你秒懂李宏毅2020深度学习（五）—— Tips for Deep Leaning Why Deep?
独家思维导图!让你秒懂李宏毅2020深度学习(五)-- Tips for Deep Leaning & Why Deep? 系列文章传送门: 独家思维导图!让你秒懂李宏毅2020机器学习(一) ...
Machine Leaning
Machine Leaning ex1:Linear Regression Python实现了ex1线性回归线性回归的核心函数是第2章.其余函数均为调用这章的函数来实现计算. 1. 简单练习 1.1 ...
[unity learning] RPG Leaning(三)
[unity learning] RPG Leaning(三) 写这个文章的目的就是为了初学unity,然后更好的掌握unity中的内容[主要是代码] 学习unity的途径是 Sebastian La ...
初步认识机器学习（Machine Leaning）
一.概述 1.人工智能>机器学习>深度学习|强化学习 2.机器学习(ML:machine leaning):一门通过优化方法(线性回归.逻辑回归.决策树.向量机.贝叶斯模型等)挖掘数据中规 ...
002-Q Leaning
本学习笔记转自https://morvanzhou.github.io/ 什么是 Q Leaning 行为准则我们做事情都会有一个自己的行为准则, 比如小时候爸妈常说"不写完作业就不准看电 ...
Deep Leaning (深度学习)学习笔记二
一.关于特征特征是机器学习的原材料,对最终模型的影响是毋庸置疑的.如果数据被很好的表达成了特征,通常线性模型就能达到满意的精度,那么对于特征,我们需要考虑什么呢? 1.1.特征表示的粒度学习算法在 ...
学习Machine Leaning In Action（四）：逻辑回归
第一眼看到逻辑回归(Logistic Regression)这个词时,脑海中没有任何概念,读了几页后,发现这非常类似于神经网络中单个神经元的分类方法. 书中逻辑回归的思想是用一个超平面将数据集分为两部 ...
Coursera Machine Leaning 课程总结
最近机器学习比较火热,身边很多同学都有兴趣,恰好Coursera上面有这门课.讲授这门课的Andrew教授任职斯坦福大学,是coursera的联合创建者,在机器学习领域颇有成就,身边的同学也有几位上这 ...

Meachine Leaning

Meachine Leaning

决策树

Meachine Leaning相关推荐

最新文章

热门文章