KNN，贝叶斯，决策树比较

设特征数为d（连续），样本总数为n，种类数为m

	KNN	贝叶斯	决策树
训练	不需要训练（模型即为训练的数据）时间复杂度：O（1）	需要（用于计算分布参数）时间复杂度O（n*d）	需要（用于生成决策树）时间复杂度：O（dnlog2n）
预测	需要（用于计算新样本与训练集中每一个样本的距离）时间复杂度：O（d*n）	需要（根据贝叶斯公式反推后面的条件概率）时间复杂度：O（m*d）	需要（根据分支去算）时间复杂度：O（log2n）
拟合	拟合度可调节	容易出现欠拟合	用以出现过拟合
超参数	K,P	无	剪枝参数

注:1、贝叶斯计算分布参数时可用高斯正态分布，多项式分布，和伯努利分布，其适用范围如下：

1）、GaussianNB适用特征为高斯分布的连续量。特征数据符合高斯正态分布

2）、MultinomialNB适用特征为2个以上离散量，。特征数据符合多项式分布

3）、BernoulliNB适用特征只有2个状态，特征数据符合伯努利分布

2、训练决策树时，是根据信息熵和基尼系数来生成决策树的

3、在你中有我，我中有你的情况下，决策树易出现过拟合

4、在预测时，贝叶斯和决策树计算量要小于KNN 的计算量

5、剪枝参数用于控制过拟合，但不能使决策树不过拟合，因为过拟合是决策树的天然属性，决策树的切法只能横竖切割。

剪枝参数有max_depth（用于限制树高）,max_leaf_nodes（用于限制最大叶子节点数）,min_samples_split（用于限制最小分割样本数）,min_sample_leaf（用于限制最小叶子样本数）

KNN，贝叶斯，决策树比较相关推荐

机器学习实战之分类算法(K-近邻/朴素贝叶斯/决策树/随机森林)
机器学习分类算法 1. 机器学习算法简介 1.1 按照学习方式分类 1.2 区别 1.3 关于监督学习中的分类与回归区别 1.4 机器学习开发流程 2. 数据集介绍与划分 2.1 sklearn数据集 ...
浅谈对机器学习方法（决策树，SVM，knn最近邻，随机森林，朴素贝叶斯、逻辑回归）的理解以及用sklearn工具实现文本分类和回归方法...
一.决策树定下一个最初的质点,从该点出发.分叉.(由于最初质点有可能落在边界值上,此时有可能会出现过拟合的问题. 二.SVM svm是除深度学习在深度学习出现之前最好的分类算法了.它的特征如下: ...
sklearn实现决策树，随机森林，逻辑回归，KNN，贝叶斯，SVM，以葡萄干数据集为例
数据集介绍本次使用的数据集为葡萄干数据集,来源于UCI中: https://archive.ics.uci.edu/ml/datasets/Raisin+Dataset 介绍为: Images of ...
02-分类算法：knn、朴素贝叶斯、决策树和随机森林
目录 sklearn数据集一.数据集划分二. 数据集获取三.sklearn机器学习算法的实现-估计器分类算法-k近邻算法(KNN) 一.定义: 二.公式: 三.语法: 四.模型调优方法: 1. ...
机器学习系列文章——算法的实现（knn，朴素贝叶斯，决策树，模型评估）
一.机器学习算法分类: 机器学习算法可分为两大类,即分类与回归.其中分类是针对离散型数据,比如判定一直动物是猫是狗,判断一个人的信用等级:而回归问题为针对连续型数据,如预测淘宝店铺销量,预测明天气温等 ...
机器学习（八）KNN,SVM，朴素贝叶斯，决策树与随机森林
机器学习(八)KNN,SVM,朴素贝叶斯,决策树与随机森林参考: https://zhuanlan.zhihu.com/p/61341071 1.KNN-K最近邻(K-Nearest Neighbo ...
数据分享|Python决策树、随机森林、朴素贝叶斯、KNN（K-最近邻居）分类分析银行拉新活动挖掘潜在贷款客户...
原文链接:http://tecdat.cn/?p=23518 项目背景:银行的主要盈利业务靠的是贷款,这些客户中的大多数是存款大小不等的责任客户(存款人).银行拥有不断增长的客户(点击文末" ...
机器学习实现图像分类（简单易上手） SVM KNN 决策树朴素贝叶斯机器学习作业
机器学习实现图像分类 SVM KNN 决策树朴素贝叶斯重要提示:本文仅仅靠调用python的sklearn中的模型包实现机器学习方法,不喜勿喷代码主要参考并改进 https://blog.csd ...
《数据分析实战》总结二之分类算法：决策树，朴素贝叶斯，SVM，KNN，Adaboost
1 决策树 1.1 工作原理把以前的经验总结出来,最后得到结果比如打篮球,一般会根据"天气"."温度"."湿度"."刮风&qu ...

KNN，贝叶斯，决策树比较

KNN，贝叶斯，决策树比较相关推荐

最新文章

热门文章