机器学习面试准备之三、决策树与随机森林

一、决策树阐述

决策树是一种基本的分类与回归方法，学习通常包含三个步骤：特征选择、决策树的生成和决策树的剪枝。

决策树由结点和有向边组成，结点包括内部结点和叶节点，内部结点表示一个特征或属性，叶节点表示一个类。

决策树学习本质是从训练数据集中归纳出一组分类规则；决策树学习的损失函数通常是正则化的极大似然函数，学习策略是由训练数据集估计条件概率模型。

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征进行分割。这一过程对应着决策树的构建，也对应着特征空间的划分。使得划分之后的各个子集能够被基本分类，那么构建叶节点；否则继续递归划分。

决策树可能发生过拟合，因此需要剪枝，从下而上进行，减去过于细分的结点，使其会退到父结点。

二、特征选择

通常特征选择的准则是信息增益或信息增益比。我们选择信息增益最大的那个分割。

2.1熵（entropy）

在信息论和概率统计中，熵是表示随机变量不确定性的度量。熵越大，随机变量的不确定性就越大。

设X是一个取有限个值的离散随机变量，其概率分布为：P(X=xi) = pi , i=1,2…n

则随机变量X的熵的定义为：

2.2条件熵

机器学习面试准备之三、决策树与随机森林相关推荐

机器学习（九）决策树，随机森林
机器学习(九)决策树,随机森林文章目录机器学习(九)决策树,随机森林一.决策树 1.1 如何理解决策树 1.2 信息论的一些基础 1.3 信息论与决策树的关系 1.3.1 信息增益 1.4 常见 ...
机器学习系列(10)_决策树与随机森林回归
注:本篇文章接上一篇文章>>机器学习系列(9)_决策树详解01 文章目录一.决策树优缺点二.泰坦尼克号幸存者案例三.随机森林介绍 1.随机森林的分类 2.重要参数 [1]n_esti ...
【机器学习】熵、决策树、随机森林总结
一.熵公式: −∑i=1np(xi)∗log2p(xi)-\sum_{i = 1}^{n}{p(xi)*log_2p(xi)}−i=1∑np(xi)∗log2p(xi) ∑i=1np(xi)∗l ...
python 决策树和随机森林_【python机器学习笔记】使用决策树和随机森林预测糖尿病...
决策树:一种有监督的机器学习分类算法,可以训练已知数据,做出对未知数据的预测. 机器学习中的分类任务殊途同归,都是要根据已知的数据特征获得最佳的分类方法.对于一个有多个特征的数据,我们需要知道根据哪些 ...
MATLAB机器学习系列-9：决策树和随机森林的原理及其例子代码实现
决策树原理决策树通过把样本实例从根节点排列到某个叶子节点来对其进行分类.树上的每个非叶子节点代表对一个属性取值的测试, 其分支就代表测试的每个结果:而树上的每个叶子节点均代表一个分类的类别,树 ...
常见面试算法：决策树、随机森林和AdaBoost
向AI转型的程序员都关注了这个号
独家 | 决策树VS随机森林——应该使用哪种算法？（附代码链接）
作者:Abhishek Sharma 翻译:陈超校对:丁楠雅本文长度为4600字,建议阅读20分钟本文以银行贷款数据为案例,对是否批准顾客贷款申请的决策过程进行了算法构建,并对比了决策树与随机森 ...
决策树 vs 随机森林
本文以银行贷款数据为案例,对是否批准顾客贷款申请的决策过程进行了算法构建,并对比了决策树与随机森林两种机器学习算法之间的异同及各自的优劣. 让我们从一个思维实验来阐述决策树和随机森林之间的差异. 假设 ...
ML之回归预测：利用十类机器学习算法(线性回归、kNN、SVM、决策树、随机森林、极端随机树、SGD、提升树、LightGBM、XGBoost)对波士顿数据集回归预测(模型评估、推理并导到csv)
ML之回归预测:利用十类机器学习算法(线性回归.kNN.SVM.决策树.随机森林.极端随机树.SGD.提升树.LightGBM.XGBoost)对波士顿数据集[13+1,506]回归预测(模型评估.推 ...

机器学习面试准备之三、决策树与随机森林

机器学习面试准备之三、决策树与随机森林

一、决策树阐述

二、特征选择

2.1熵（entropy）

2.2条件熵

机器学习面试准备之三、决策树与随机森林相关推荐

最新文章

热门文章