k折交叉验证优缺点_K最近邻（KNN）算法

（一）算法思想

最近邻法

Cover, Hart, 1968年提出，非参数法中最重要的方法之一；

基本思想：分段线性判别的极端情况，计算测试样本与 “代表点”，即所有训练样本的距离，并以最近邻者的类别作为决策。

决策规则

KNN（K-近邻法）

最近邻的发展，与最近邻类似，即找测试样本的K个最近样本，K个样本中哪个类所占个数最多即判断测试样本为那一类。决策规则：

k-近邻法

注:k近邻一般采用k为奇数，跟投票表决一样，避免因两种票数相等而难以决策。

（二）算法步骤

1.计算距离

2.按照距离远近排序

3.选取与当前测试对象最近的K个训练对象

4.统计3步骤中K个对象的类别频率

5.K个对象中频率最高的类别，即为测试对象的类别

注：

1）常用计算距离的方法：欧几里得距离、曼哈顿距离和马氏距离

2）k近邻一般采用k为奇数（跟投票表决一样，避免因两种票数相等而难以决策），且K值得设定一般低于样本数量的平方根。

（三）算法难点-选择合适的K

1.K的选取

K太大：导致分类模糊
K太小：受各例影响，波动较大

2.如何选取K

经验
均方根误差
交叉验证（Cross Validation）(注：千万不能用测试数据来调参)

（四）算法优缺点

1、优点

非常简单的分类算法没有之一，人性化，易于理解，易于实现

适合处理多分类问题，比如推荐用户

比较适合应用在低维空间

2、缺点

时间复杂度较高，因为需要计算未知样本到所有已知样本的距离

样本平衡度依赖高，当出现极端情况样本不平衡时，分类会出现偏差

可解释性差，无法给出类似决策树那样的规则向量的维度越高，距离的区分能力就越弱。

贪心学院 - 做在线教育领域的MIT，立志于培养最顶级的工程师www.greedyai.com

python代码实现：GreedyAIAcademy/Machine-Learning

k折交叉验证优缺点_K最近邻（KNN）算法相关推荐

k折交叉验证优缺点_k折交叉验证(R语言)
"机器学习中需要把数据分为训练集和测试集,因此如何划分训练集和测试集就成为影响模型效果的重要因素.本文介绍一种常用的划分最优训练集和测试集的方法--k折交叉验证." k折交叉验证 ...
k折交叉验证优缺点_R语言中K邻近算法的初学者指南：从菜鸟到大神（附代码＆链接）...
作者:Leihua Ye, UC Santa Barbara 翻译:陈超校对:冯羽本文约2300字,建议阅读10分钟本文介绍了一种针对初学者的K临近算法在R语言中的实现方法. 本文呈现了一种在R ...
k折交叉验证优缺点_都说K折交叉验证最常见，你会做吗？
在临床研究领域,大家特别希望能够未仆先知,于是临床研究者尝试去建立各种预测模型.比如,凭借孕妇的信息预测低出生体重儿的结局.怎么建立预测模型呢?常见的做法是这样的:以低出生体重儿为因变量,以相关的孕妇 ...
k折交叉验证python代码_K折交叉验证法原理及python实现
本文为原创文章,转载请注明出处! 在训练数据的过程或者参加数据比赛的时候,常常会遇到数据量不够大的情况,在一次比赛过程我学到一个小技巧-K折交叉验证法(k-fold CrossValidation), ...
机器学习--K折交叉验证（K-fold cross validation）
K 折交叉验证(K-flod cross validation) 当样本数据不充足时,为了选择更好的模型,可以采用交叉验证方法. 基本思想:把给定的数据进行划分,将划分得到的数据集组合为训练集与测试集 ...
python k折交叉验证,python中sklearnk折交叉验证
python中sklearnk折交叉验证发布时间:2018-06-10 11:09, 浏览次数:492 , 标签: python sklearnk 1.模型验证回顾进行模型验证的一个重要目的是要选 ...
参数调优：K折交叉验证与GridSearch网格搜索
本文代码及数据集来自<Python大数据分析与机器学习商业案例实战> 一.K折交叉验证在机器学习中,因为训练集和测试集的数据划分是随机的,所以有时会重复地使用数据,以便更好地评估模型的有 ...
机器学习基础|K折交叉验证与超参数搜索
文章目录交叉验证交叉验证的概念 K的取值为什么要用K折交叉验证 Sklearn交叉验证API 超参数搜索超参数的概念超参数搜索的概念超参数搜索的原理 Sklearn超参数搜索API 实例 ...
5折交叉验证_[Machine Learning] 模型评估——交叉验证/K折交叉验证
首先区分两个概念:'模型评估' 与 '模型性能度量' 模型评估:这里强调的是如何划分和利用数据,对模型学习能力的评估,重点在数据的划分方法. Keywords: 划分.利用数据模型性能度量:是在研究 ...

k折交叉验证优缺点_K最近邻（KNN）算法

k折交叉验证优缺点_K最近邻（KNN）算法相关推荐

最新文章

热门文章