KNN思想

分类思想：输入x，计算它和已知数据集之间中样本的距离，将距离进行升序排列，输出前k个距离，输出前k个结果中类别最多的一类，就是x的所属类别。

回归思想：对前k个样本输出的平均值作为回归预测值

关键点：

k值的选取：可以先选择一个较小的值，再交叉验证
- k值大，训练误差会增大，泛化误差减小，模型变简单
- k值小，训练误差会减小，泛化误差会增大，模型变复杂，容易过拟合
- 当k=m（样本数）会输出样本中最多的类

距离度量的选择：

欧式距离: 对于两个n维向量x和y
D ( x , y ) = ( x 1 − y 1 ) 2 + ( x 2 − y 2 ) 2 + … + ( x n − y n ) 2 = ∑ i = 1 n ( x i − y i ) 2 D(x, y)=\sqrt{\left(x_{1}-y_{1}\right)^{2}+\left(x_{2}-y_{2}\right)^{2}+\ldots+\left(x_{n}-y_{n}\right)^{2}}\\=\sqrt{\sum_{i=1}^{n}\left(x_{i}-y_{i}\right)^{2}} D(x,y)=(x1−y1)2+(x2−y2)2+…+(xn−yn)2 =i=1∑n(xi−yi)2
曼哈顿距离:对于两个n维向量x和y
D ( x , y ) = ∣ x 1 − y 1 ∣ + ∣ x 2 − y 2 ∣ + … + ∣ x n − y n ∣ = ∑ i = 1 n ∣ x i − y i ∣ D(x, y)=\left|x_{1}-y_{1}\right|+\left|x_{2}-y_{2}\right|+\ldots+\left|x_{n}-y_{n}\right|\\=\sum_{i=1}^{n}\left|x_{i}-y_{i}\right| D(x,y)=∣x1−y1∣+∣x2−y2∣+…+∣xn−yn∣=i=1∑n∣xi−yi∣
分类决策的规则：多数表决法，k最好选择奇数，不然有相同的结果

knn优点

KNN是一种在线技术，新数据可以直接加入数据集而不必进行重新训练
理论成熟，思想简单，既可以用来做分类又可以做回归

knn缺点：

计算量大，尤其是数据集非常大的时候
样本不平衡的时候，对稀有类别的预测准确率低
KD树，球树之类的模型建立需要大量的内存
k值大小的选择很重要

具体实现

步骤

构建数据集（自建或者下载）
计算预测样本和已知样本的距离，输出前k个距离
对计算的distance 升序排列
输出前k个样本的labels
输出类别最多的一类

# 导入库
import numpy as np
from sklearn.datasets import load_iris
from sklearn.model_selection  import train_test_split# 构建数据集
dataset = load_iris()
X = dataset.data
y = dataset.target
X_train,X_test,y_train,y_test = train_test_split(X,y,train_size = 0.7,random_state = 777)
y_test.shape[0]def KNN_EUdist(X_test,X_train,y_train,k):# initializationnum_test = X_test.shape[0]y_pred = np.zeros(X_test.shape[0])# 计算每个预测样本和训练集样本的距离for i in range(num_test):d = np.sum((X_test[i]-X_train)**2,axis=1) # 欧式距离，按行求和d = np.sqrt(d) #开方#d = np.sum(np.abs((X_test[i]-X_train)),axis=1) # 曼哈顿距离，按行求和d_k_index = np.argsort(d)[:k] #升序排序后直接返回indexpred_k_label = y_train[d_k_index]y_pred[i] = np.argmax(np.bincount(pred_k_label.tolist())) #返回类别最多的一类return y_preddef acc(y_pred,y_test):
'''计算KNN_EUdist()准确率
'''num_test = y_test.shape[0]cnt = 0for i in range(num_test):if y_pred[i] == y_test[i]:cnt +=1#print(y_pred[i],y_test[i])else: passaccuracy = cnt/num_test return accuracyy_pred = KNN_EUdist(X_test,X_train,y_train,k)
acc(y_pred,y_test)
>>>0.97

References

[1] K近邻法(KNN)原理小结-刘建平 https://www.cnblogs.com/pinard/p/6061661.html
[2] knn部分总结 https://github.com/zhengjingwei/machine-learning-interview#2-2-1

ML code | KNN python实现相关推荐

ML之kNN(两种)：基于两种kNN(平均回归、加权回归)对Boston(波士顿房价)数据集(506,13+1)进行价格回归预测并对比各自性能
ML之kNN(两种):基于两种kNN(平均回归.加权回归)对Boston(波士顿房价)数据集(506,13+1)进行价格回归预测并对比各自性能目录输出结果设计思路核心代码输出结果 Bosto ...
ML之kNN：k最近邻kNN算法的简介、应用、经典案例之详细攻略
ML之kNN:k最近邻kNN算法的简介.应用.经典案例之详细攻略目录 kNN算法的简介 1.kNN思路过程 1.1.k的意义 1.2.kNN求最近距离案例解释原理-通过实际案例,探究kNN思路过程 ...
ML之k-NN：k-NN实现对150朵共三种花的实例的萼片长度、宽，花瓣长、宽数据统计，根据一朵新花的四个特征来预测其种类
ML之k-NN:k-NN实现对150朵共三种花的实例的萼片长度.宽,花瓣长.宽数据统计,根据一朵新花的四个特征来预测其种类目录输出结果实现代码输出结果实现代码 from sklearn im ...
mac 打开html c python,在Mac系统使用Visual Studio Code运行Python的方法
在Mac系统使用Visual Studio Code运行Python的方法发布时间:2020-08-10 10:29:31 来源:亿速云阅读:105 作者:小新在Mac系统使用Visual St ...
python 实现点击右键用某个程序打开功能_4.PYTHON开发利器之使用VS Code进行python程序开发...
0. 前言 VS Code是一个轻量级工具,适合于简单的编辑.编译.运行Python程序,特别是在学习Python语言的时候: 如果需要开发Python项目,建议选择使用专门的Python IDE - ...
VS Code运行Python程序
相比 PyCharm.Eclipse+PyDev,使用 VS Code 编写 Python 程序,不用创建项目,直接创建 Python 文件即可. VS Code创建Python文件首先,打开 VS ...
vs code 开发企业级python_基于VS Code配置Python开发环境
学习Python也有一段时间了,总感觉学的比较零碎,不成系统,我想应该是因为我没有及时对学习过程进行记录,主要是懒,呵呵~~~那好,以后就在这个平台记录下python学习的点滴吧. 所谓"工 ...
vscode可以打开jupyternotebook吗_刚刚，官方宣布 VS Code 支持 Python 全开发了！
关注Python高校每天早上23:10准时推送北京时间 2019 年 9 月 21 日,PyCon China 2019 在上海举行. 在下午的演讲中,来自微软开发工具事业部的资深研发工程师韩骏做 ...
使用Visual Studio Code设置Python开发环境
目录布局 Windows集中式安装假设与要求在Windows上安装安装VS代码安装VS代码扩展在Windows上设置Python开发环境安装Python 创建一个虚拟环境创建项目和设置 ...

ML code | KNN python实现

文章目录

KNN思想

具体实现

References

ML code | KNN python实现相关推荐

最新文章

热门文章