ML之监督学习算法之分类算法一 ———— k-近邻算法（最邻近算法）

2024-04-01 01:01:40

一、概述

　　最近邻规则分类（K-Nearest Neighbor）KNN算法

　　由Cover 和Hart在1968年提出了最初的邻近算法，

　　这是一个分类（classification）算法

　　输入基于实例的学习（instance-based learning），懒惰学习（lazy learning）

二、原理

　　在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。

三、Distance

　　1、欧式距离

　　2、余弦值（cos）

　　3、相关度（correlation）

　　4、曼哈顿距离（Manhatten distance）

四、优缺点

　　k近邻算法是分类数据最简单最有效的算法，k近邻算法是基于实例的学习，使用算法时必须有接近实际算计的训练样本数据。 k近邻算法必须保存全部数据集，如果训练数据集过于庞大，必须使用大量的存储空间。此外，由于必须对数据集中的每个数据计算距离值，实际使用时可能非常耗时；

　　k近邻算法的另一个缺陷是它无法给出任何数据的基础结构信息，因此我们无法知晓平均实例样本和典型实例样本具有什么特征。我们将使用 概率测量方法 处理分类问题；　

ML之监督学习算法之分类算法一 ———— k-近邻算法（最邻近算法）相关推荐

介绍一下K近邻（KNN）算法，KNeighbors和RadiusNeighbors的差异是什么？各有什么优势？
介绍一下K近邻(KNN)算法,KNeighbors和RadiusNeighbors的差异是什么?各有什么优势? K近邻(KNN)算法近邻(Nearest Neighbor)算法既可以用于监督学习(分 ...
一文搞懂k近邻（k-NN）算法（一）
原文链接一文搞懂k近邻(k-NN)算法(一) 前几天和德川一起在学习会上讲解了k-NN算法,这里进行总结一下,力争用最通俗的语言讲解以便更多同学的理解. 本文目录如下: 1.k近邻算法的基本概念, ...
K近邻（KNN）算法总结
文章目录一.KNN原理二.KNN的三要素 2.1 k值的选择 2.2 距离度量 2.3 分类决策规则三.KNN算法实现 3.1 KNN算法蛮力实现 3.2 KD树实现 3.3 球树实现四.KN ...
数据挖掘经典算法（一）：K近邻（KNN）
目录一.算法思想二.算法原理 (1)KNN算法原理 (2)KNN算法三要素 ① 分类决策规则 ② K值的选择 ③ 距离度量 (3)KNN实现方法 ① 构建KD树 ② KD树的搜索 ③ KD树的分类 ...
机器学习算法——系统性的学会使用 K近邻算法（KNN）
目录 1.K-近邻算法简介 1.1 什么是K-近邻算法 1.2 K-近邻算法(KNN)概念 (1)定义: (2)距离公式: 1.3 电影类型分析 1.4 KNN算法流程总结 2.k近邻算法api初步使 ...
K近邻（KNN）算法是基于实例的算法，如果训练样本数量庞大，预测的时候挨个计算距离效率会很低下，如何破解？
K近邻(KNN)算法是基于实例的算法,如果训练样本数量庞大,预测的时候挨个计算距离效率会很低下,如何破解? K近邻(KNN)是最简单的算法之一,它计算预测样本与训练数据集中每个数据点之间的距离,并找到 ...
K近邻模型、KNN算法1-构建预测模型
K近邻模型.KNN算法1-构建预测模型案例假设你已经清洗好了一份同类型的商品信息和价格数据,如果给一个同品类全新的商品,你如何给它定价或预测它的价格? 比如,这个商品是红酒.你已经获取到了一批红酒 ...
写程序学ML：K近邻（KNN）算法原理及实现（二）
[题外话]近期申请了一个微信公众号:平凡程式人生.有兴趣的朋友可以关注,那里将会涉及更多机器学习.OpenCL+OpenCV以及图像处理方面的文章. 2.2 简单实例为了验证前面实现的K近邻算法 ...
【算法】一个简单的K近邻（KNN）原理
基本思想用距离目标样本最近的K个样本类别的众数来代表目标样本的类别. 近朱者赤近墨者黑. 构建方法计算新样本与所有已知样本的距离,并进行排序,计算和存储成本较大,可采用"分枝定界&quo ...
机器学习路程——k近邻（KNN）算法(python实现)
使用python库sklearn,pandas 数据来源:kaggle Facebook V: Predicting Check Ins 数据网址:https://www.kaggle.com/c/f ...

最新文章

热门文章