1 KNN算法

KNN：中文名分类算法-k近邻算法。如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
计算距离公式：
a(a1, a2, a3), b(b1, b2, b3)

2 预测电影类型例子

根据上面的公式计算：
(18-3)的平方+ (90-104)的平方，然后再开方结果：20.5182
依次得出的结果为 356 开方为 18.8679
依次得出的结果为 370 开方为 19.2353
依次得出的结果为 13289 开方为 115.2779
依次得出的结果为 13786 开方为 117.4137
依次得出的结果为 14144 开方为 118.9285
所以我们可以得出打斗镜头18 接吻镜头90的电影类型为爱情片。

3 sklearn实现KNN算法

还是以预测电影类型为例子，用sklearn实现电影预测。
数据截图：

import pandas as pd
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import numpy as npdef knncls():"""K-近邻预测电影的类型"""# 读取数据data = pd.read_csv("train.csv")# 取出数据当中的特征值和目标值y = data['电影类型'] #目标值x = data[['打斗镜头', '接吻镜头']] #特征值# print(x)# 进行数据的分割训练集合测试集x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.20)# 特征工程（标准化）std = StandardScaler()# 对测试集和训练集的特征值进行标准化x_train = std.fit_transform(x_train)x_test = std.transform(x_test)# 进行算法流程 # 超参数knn = KNeighborsClassifier(n_neighbors=3)knn.fit(x_train, y_train)y_predict = knn.predict(x_test)print("预测的测试结果", y_predict)# 得出预测结果print(x_test)print(y_test)# 得出准确率print("预测的准确率：", knn.score(x_test, y_test))print("----------------------------------------------------")data_test = np.array([[3, 100], [1, 90], [2, 81], [101, 10], [99, 5], [98, 2]])  #自己的数据，预测电影的类型y_predict = knn.predict(data_test)print(y_predict)for i, k in zip(data_test, y_predict):print(i[0], "---------", i[1], "--------", k)if __name__ == '__main__':knncls()

4 总结

优点：简单，易于理解，易于实现，无需估计参数，无需训练
缺点：懒惰算法，对测试样本分类时的计算量大，内存开销大必须指定K值，K值选择不当则分类精度不能保证
使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

机器学习之KNN算法相关推荐

机器学习实战-KNN算法-20
机器学习实战-KNN算法-鸢尾花分类 # 导入算法包以及数据集 from sklearn import neighbors from sklearn import datasets from skle ...
机器学习之KNN算法原理
机器学习之KNN算法原理 1 KNN算法简介 2 算法思想 3 多种距离度量公式 ① 欧氏距离(Euclidean distance) ② 曼哈顿距离(Manhattan distance) ③ 闵式 ...
机器学习：KNN算法对鸢尾花进行分类
机器学习:KNN算法对鸢尾花进行分类 1.KNN算法的理解: 1.算法概述 KNN(K-NearestNeighbor)算法经常用来解决分类与回归问题, KNN算法的原理可以总结为"近朱者赤 ...
【机器学习】KNN算法实现手写板字迹识别
文章目录 [机器学习]KNN算法实现手写板字迹识别 1. 前言 2. 实验背景 3. 测试过程 3.1 手写板及测试数据的制作 3.2 加载训练数据并进行KNN模型搭建 3.3 结果预测 4. 总结 ...
机器学习之kNN算法(纯python实现)
前面文章分别简单介绍了线性回归,逻辑回归,贝叶斯分类,并且用python简单实现.这篇文章介绍更简单的 knn, k-近邻算法(kNN,k-NearestNeighbor). k-近邻算法(kNN,k ...
【机器学习】KNN算法代码练习
本课程是中国大学慕课<机器学习>的"KNN"章节的课后代码. 课程地址: https://www.icourse163.org/course/WZU-146409617 ...
JavaScript机器学习之KNN算法
2019独角兽企业重金招聘Python工程师标准>>> 译者按: 机器学习原来很简单啊,不妨动手试试! 原文: Machine Learning with JavaScript : ...
Scikit-Learn机器学习（knn算法）
前言博观而约取,厚积而薄发本文中回忆了python的类概念,机器学习需要用到的环境,以及什么是Scikit-Learn 目的是方便博主进行回忆记忆学习和总结如果能帮助到大家那就更好了 Py ...
机器学习：kNN算法（一）—— 原理与代码实现（不调用库）
一理论基础 \(k\)近邻法是一种基本地分类与回归算法,属于判别模型.没有学习策略,不具备显式学习过程.本文主要讨论分类问题. 原理:给定一个训练数据集,对于新的输入实例,在训练数据集中找到与该实例 ...

机器学习之KNN算法