Python KNN K近邻分类

1 声明

本文的数据来自网络，部分代码也有所参照，这里做了注释和延伸，旨在技术交流，如有冒犯之处请联系博主及时处理。

2 KNN简介

3 KNN代码示例

# Step1 加载相关包，(因涉及距离计算，这里将特征都缩放到同一量纲上)
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
from sklearn import datasets
from sklearn.pipeline import Pipeline, FeatureUnion
from sklearn.model_selection import GridSearchCV
# Step2 装载数据，指定X(特征)y(目标)
iris = datasets.load_iris()
X = iris.data
y = iris.target
# Step3 对所有特征实施标准化
standardizer = StandardScaler()
X_std = standardizer.fit_transform(X)# Step4 训练KNN分类器(指定n_neighbors=5为5个，n_jobs=-1即尽可能利用计算机资源)
knn = KNeighborsClassifier(n_neighbors=5, n_jobs=-1).fit(X_std, y)
# Step5 利用新的观测预测分类（这里新2个观测）
new_observations = [[ 0.75, 0.75, 0.75, 0.75],
[ 1, 1, 1, 1]]
print(knn.predict(new_observations))
print(knn.predict_proba(new_observations))# 创建一个pipeline
pipe = Pipeline([("standardizer", standardizer), ("knn", knn)])
# 指定n_neighbors参数的候选值
search_space = [{"knn__n_neighbors": [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]}]
# 创建网格搜索与交叉验证
classifier = GridSearchCV(
pipe, search_space, cv=5, verbose=0).fit(X_std, y)
# 输出n_neighbors最好的参数
print(classifier.best_estimator_.get_params()["knn__n_neighbors"])

4 总结

关于KNeighborsClassifier超参数的几点说明:

1 度量指标Metric是计算距离的参数

2 n_jobs参数用于指定能利用计算的多少个核，用于并行计算。

3 algorithm参数用于指定利用何种算法计算最近的邻居，一般不用刻意指定。

4 weights参数被指定距离时距离近的观测在“投票”分类时权重会大于远的邻居。

5 计算时需要将所有的特征进行标准化，即将它们缩放到同一个量纲上。

Python KNN K近邻分类相关推荐

python 机器学习——K 近邻分类理论及鸢尾（ Iris ）数据集实例操作
K 近邻分类理论及鸢尾( Iris )数据集实例操作一.K 近邻分类理论二.K 近邻分类实例操作 (1)导入数据划分训练集测试集 (3)数据标准化 (4)用 K 近邻法建立模型 (5)性能评估 ...
机器学习理论梳理2 : KNN K近邻分类模型
本文主要梳理KNN,K近邻模型的基本原理. 从机器学习的大分类来看,K近邻模型属于监督学习中的一种判别式模型,常用于分类问题.初始的数据集中,包含了已经分类标签好的数据.一句话来说,K近邻模型就是通过 ...
机器学习经典算法具体解释及Python实现--K近邻(KNN)算法
(一)KNN依旧是一种监督学习算法 KNN(K Nearest Neighbors,K近邻 )算法是机器学习全部算法中理论最简单.最好理解的.KNN是一种基于实例的学习,通过计算新数据与训练数据特征值 ...
knn K近邻算法python实现
本文主要内容: knn K近邻算法原理 sklearn knn的使用,以及cross validation交叉验证 numpy 实现knn knn改进方法 1 knn K近邻算法原理 K近邻算法:给定 ...
机器学习——K近邻分类算法及python代码实现
<机器学习:公式推导与代码实践>鲁伟著读书笔记. K近邻(K-nearest neighbor,K-NN)算法是一种经典的监督学习的分类方法.K近邻算法是依据新样本与k个与其相邻最近的样本 ...
使用Python实现K近邻
Author:pingfan_yu Data:2021.12.9 实验目的使用Python实现K近邻实验原理 (1)计算测试与各个训练数据之间的距离: (2)按照距离的递增关系进行排序: (3)选 ...
数据处理 | MATLAB实现KNN(K近邻)缺失数据填补
数据处理 | MATLAB实现KNN(K近邻)缺失数据填补目录数据处理 | MATLAB实现KNN(K近邻)缺失数据填补基本介绍插补描述程序设计参考资料基本介绍用于缺失值插补的单变量方 ...
机器学习100天（三十）：030 K近邻分类算法-K值的选择
机器学习100天,今天讲的是:K近邻分类算法-K值的选择. <机器学习100天>完整目录:目录上一节我们讲了 K 折交叉验证的理论,下面我们将 K 折交叉验证算法应用到 K 近邻分类算法 ...
Python Kmeans K均值分类
Python Kmeans K均值分类 1 声明本文的数据来自网络,部分代码也有所参照,这里做了注释和延伸,旨在技术交流,如有冒犯之处请联系博主及时处理. 2 Kmeans简介相关概念见下: Km ...

Python KNN K近邻分类

Python KNN K近邻分类

1 声明

2 KNN简介

3 KNN代码示例

4 总结

Python KNN K近邻分类相关推荐

最新文章

热门文章