机器学习实战读书笔记--k邻近算法KNN

k邻近算法的伪代码：

　　对未知类别属性的数据集中的每个点一次执行以下操作：

　　(1)计算已知类别数据集中的点与当前点之间的距离；

　　(2)按照距离递增次序排列

　　(3)选取与当前点距离最小的k个点

　　(4)确定前k个点所在类别的出现频率

　　(5)返回前k个点出现频率最好的类别作为当前点的预测分类

python函数实现

'''
Created on Sep 16, 2010
kNN: k Nearest NeighborsInput:      inX: vector to compare to existing dataset (1xN)dataSet: size m data set of known vectors (NxM)labels: data set labels (1xM vector)k: number of neighbors to use for comparison (should be an odd number)Output:     the most popular class label@author: pbharrin
'''def classify0(inX, dataSet, labels, k):dataSetSize = dataSet.shape[0]      //输入的训练样本集dataSet的列数diffMat = tile(inX, (dataSetSize,1)) - dataSet //先对inX进行向量化处理，使之格式与dataSet一致，然后相减sqDiffMat = diffMat**2  //向量对应值差的平方sqDistances = sqDiffMat.sum(axis=1)//列的平方和的汇总distances = sqDistances**0.5 //开平方求距离sortedDistIndicies = distances.argsort()    classCount={}          for i in range(k):voteIlabel = labels[sortedDistIndicies[i]]classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1  //选择距离最小的k个点sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True) //排序return sortedClassCount[0][0]

转载于:https://www.cnblogs.com/davidwang456/p/9729676.html

机器学习实战读书笔记--k邻近算法KNN相关推荐

机器学习实战---读书笔记：第11章使用Apriori算法进行关联分析---2---从频繁项集中挖掘关联规则
#!/usr/bin/env python # encoding: utf-8''' <<机器学习实战>> 读书笔记第11章使用Apriori算法进行关联分析---从频繁项 ...
机器学习：k邻近算法(KNN)
title: 机器学习:k邻近算法(KNN) date: 2019-11-16 20:20:41 mathjax: true categories: 机器学习 tags: 机器学习什么是K邻近算法? ...
k邻近算法(KNN)实例
一 k近邻算法原理 k近邻算法是一种基本分类和回归方法. 原理:K近邻算法,即是给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例,这K个实例的多数属于某个类,就把该输入实 ...
python机器学习案例系列教程——K最近邻算法(KNN)、kd树
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程 K最近邻简介 K最近邻属于一种估值或分类算法,他的解释很容易. 我们假设一个人的优秀成为设定为1.2.3.4.5.6.7.8.9.10 ...
机器学习实战第二章K近邻算法照葫芦画瓢实践。
分别实现了最基本的3个DEMO 1.给你若干个带有标签的二维点作为训练集,给定一系列的二维随机点,看其通过训练集,可以被分为哪一类 2.给你N个人的飞行里程数,玩游戏消耗时间百分比和每周消耗冰激凌的公 ...
机器学习实战读书笔记(1)
机器学习的主要任务: 分类:将实例数据划分到合适的分类中回归:主要用于预测数值型数据分类和回归属于监督学习,监督学习必须知道预测什么,即目标变量的分类信息无监督学习:数据没有类别信息,也不会给定 ...
机器学习实战读书笔记--决策树
1.决策树的构造 createBranch伪代码: 检测数据集中的每个子项是否属于同一分类: IF SO RETURN 类标签 ELSE 寻找划分数据集的最好特征划分数据集创建分支节点 FOR 每 ...
机器学习实战读书笔记(2)决策树
信息熵是什么? 1. 信息论之父 C. E. Shannon 在 1948 年发表的论文"通信的数学理论( A Mathematical Theory of Communication )& ...
机器学习实战读书笔记(一)机器学习基础
http://sourceforge.net/projects/numpy/files/ 下载对应版本的numpy,到处下不到,找到一个没python2.7 用pip吧, pip install nu ...

机器学习实战读书笔记--k邻近算法KNN

机器学习实战读书笔记--k邻近算法KNN相关推荐

最新文章

热门文章