详解机器学习算法基础--K近邻算法

2024-05-14 05:40:10

K近邻算法属于监督学习。

监督学习是指给定我们的数据集是含有lable的，比如著名的iris数据集，就给定了我们每一个数据所属的类别，通俗一点讲，我们拿到一个数据，对应一个特征。

K近邻算法我们可以认为是一个不需要训练过程的算法，也就是说，我们不需要去训练模型，从某种意义上来说，算法即是模型本身

K近邻算法是什么？用来做什么?

K近邻算法就是通过distance来寻找最近的样本，获取我们传入数据的label，也就是说，谁离我们传入的数据最近，我们就选那个最近数据的lable作为我们传入数据的特征。

K近邻算法天然就适合解决分类问题，尤其可以解决多分类问题，我们可以通过谁离我们最近，就选谁作为我们的lable。

K近邻算法的K值

K近邻算法的K值就是决定离我们最近的数据确定几个，也就是说选几个离我们最近的距离作为分类指标。比如K=3，就寻找离我们最近的三个样本，即数据作为我们的分类指标。

K近邻算法的distance

衡量我们样本之间的距离，使用什么距离呢？当然，我们可以选取欧式距离，也就是使用最普遍的距离衡量，但是distance属于一个超参数，也就是说我们可以指定distance，我们可以改变，比如使用余弦距离，或者闵可夫斯基距离

K近邻算法的缺点

1.效率比较低，每次我们都要将训练数据与传入数据做一次相减求出距离，这样相比较于其他算法，效率较低

2.高度数据相关，我们求得的结果与我们传入的训练样本，存在高度数据相关，也就是说，我们得到什么结果，与我们的训练数据息息相关

3.维度灾难，当我们涉及到高纬度的时候，K近邻算法几乎会变得运算复杂，但是我们可以通过降维解决这一问题

详解机器学习算法基础--K近邻算法相关推荐

机器学习算法基础——k近邻算法
23.k-近邻算法以及案例预测入住位置 24.K-近邻算法案例分类算法-k近邻算法(KNN) 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本 ...
机器学习-分类之K近邻算法(KNN)原理及实战
k近邻算法(KNN) 简介 KNN算法是数据挖掘分类技术中最简单的方法之一.它通过测量不同特征值之间的距离进行分类的.其基本思路为:如果一个样本在特征空间中的k个最近邻样本中的大多数属于某一个类别,则 ...
机器学习——聚类之k近邻算法及python使用
聚类算法之k近邻及python使用什么是k近邻算法 k近邻算法流程使用sklearn进行代码实现数据集介绍标准化代码实现写在开头,套用我的老师的一句话目前所有自然学科的前沿都是在研究数学, ...
k近邻算法_机器学习分类算法之k近邻算法
本编文章将介绍机器学习入门算法-k近邻算法,将会用demo演示机器学习分类算法. 在先介绍算法时,先回顾分类和回归的区别.像文章分类识别也是这样处理的,如1代表体育,2代表科技,3代表娱乐属于分类问题 ...
01. 机器学习笔记01——K近邻算法 , CV_example
K近邻算法(K-nearest neighbor,KNN算法) 李航博士<统计学习方法> 最近邻(k-Nearest Neighbors,KNN)算法是一种分类算法应用场景:字符识别.文 ...
机器学习实战之K近邻算法
k近邻算法概述简单地说,K近邻算法采用测量不同特征值之间的距离方法进行分类. 优点 :精度高.对异常值不敏感.无数据输入假定. 缺点:计算复杂度高.空间复杂度高. 适用数据范围:数值型和标称型. ...
【机器学习实战】k近邻算法实战——手写识别系统
文章目录手写识别系统步骤: 准备数据:将图像转换为测试向量测试算法:使用k-近邻算法识别手写数字 [完整代码] 手写识别系统为了简单起见,这里构造的系统只能识别数字0到9,参见图2-6.需要识 ...
【机器学习入门】(1) K近邻算法：原理、实例应用（红酒分类预测）附python完整代码及数据集
各位同学好,今天我向大家介绍一下python机器学习中的K近邻算法.内容有:K近邻算法的原理解析:实战案例--红酒分类预测.红酒数据集.完整代码在文章最下面. 案例简介:有178个红酒样本,每一款红酒 ...
机器学习算法系列之K近邻算法
本系列机器学习的文章打算从机器学习算法的一些理论知识.python实现该算法和调一些该算法的相应包来实现. 目录 K近邻算法一.K近邻算法原理 k近邻算法通俗解释近邻距离的度量 k值的选择 KN ...
机器学习[k近邻算法]
k近邻算法简称kNN算法,由Thomas等人在1967年提出[1].它基于以下思想:要确定一个样本的类别,可以计算它与所有训练样本的距离,然后找出和该样本最接近的k个样本,统计这些样本的类别进行投票, ...

最新文章

热门文章