#!/usr/bin/env python

#-*-coding:utf-8-*-

#knn 的具体实现

import csv

import random

import math

import operator

#导入数据集 文件名，split区分那个集

def loadDataset(filename,split,trainintset=[],testSet=[]):

with open(filename,'rb') as csvfile:

lines=csv.reader(csvfile)

dataset=list(lines)

for x in range(len(dataset)-1):

for y in range(4):

dataset[x][y]=float(dataset[x][y])

if random.random()

trainingSet.append(dataset[x])

else:

testSet.append(dataset[x])

#计算距离

def euclideanDistance(instance1,instance2,length):

distance=0

for x in range(length):

distance+=pow((instance1[x]-instance2[x]),2)

return math.sqrt(distance)

#得到相邻的k个邻居

def getNeighbors(trainingSet,testInstance,k):

distance=[]

length=len(testInstance)-1

#测试集的维度

for x in range(len(trainingSet)):

dist=euclideanDistance(testInstance,trainingSet[x],length)

distance.append((trainingSet[x],dist))

distance.sort(key=operatos.itemgetter(1))

neighbors=[]

for x in range(k):

neighbors.append(distances[x][0])

return neighbors

#得到那个类占大多数

def getResponse(neighbors):

classVotes={}

for x in range(len(neighbors)):

response=neighbors[x][-1]

if response in classVotes:

classVotes[response]+=1

else:

classVotes[response]=1

sortedVotes=sorted(classVotes.iteritems(),key=operator.itemgetter(1),reverse=True)

#按降序排列

return sortedVotes[0][0]

#准确率

def getAccuracy(testSet,predictions):

correct=0

for x in range(len(testSet)):

if testSet[x][-1]==predictions[x]:

correct+=1

return (correct/float(len(testSet)))*100.0

def main():

trainingSet=[]

testSet=[]

split=0.67

loadDataset(r'data.txt',split,trainingSet,testSet)

print('Train set: '+repr(len(trainingSet)))

print('Test set: '+repr(len(testSet)))

predictions=[]

k=3

for x in range(len(testSet)):

neighbors=getNeighbors(trainingSet,testSet[x],k)

result=getResponse(neighbors)

predictions.append(result)

print('> predicted='+repr(result)+', actual='+repr(testSet[x][-1]))

accuracy=getAccuracy(testSet,predictions)

print('Accuracy: '+repr(accuracy)+'%')

main()

#!/usr/bin/env python#-*-coding:utf-8-*-#knn实现手写数字识别#1建立工程并导入sklearn包‘import numpy as npfrom os import listdir #使用listdir模块，用于访问本地文件from sklearn import neighbors#2加载训练数据#将加载的32*32的图片矩阵展开成一列向量def img2vector(fileName): retMat=np.zeros([1024],int)#定义返回的矩阵，大小为1*1024 fr=open(fileName)#打开包含32*32大小的数字文件 lines=fr.readlines()#读取文件的所有行 for i in range(32):#遍历文件所有行 for j in range(32):#并将01数字存放在retMat中 retMat[i*32+j]=lines[i][j] return retMat#定义加载训练数据的函数readDataSet;def readDataSet(path): fileList=listdir(path)#获取文件夹下的所有文件 numFiles=len(fileList)#统计需要读取的文件的数目 dataSet=np.zeros([numFiles,1024],int)#用于存放所有的数字文件 hwLabels=np.zeros([numFiles])#用于存放对应的标签(与神经网络的不同) for i in range(numFiles):#遍历所有的文件 filePath=fileList[i]#获取文件名称/路径 digit=int(filePath.split('_')[0])#通过文件名获取标签 hwLabels[i]=digit#直接存放数字，并非one-hot向量 dataSet[i]=img2vector(path+'/'+filePath)#读取文件内容 return dataSet,hwLabelstrain_dataSet,train_hwLabels=readDataSet('digits/trainingDigits/')#训练的图片，对应的标签#3构建KNN分类器knn=neighbors.KNeighborsClassifier(algorithm='kd_tree',n_neighbors=3)knn.fit(train_dataSet,train_hwLabels)#加载测试集dataSet,hwLabels=readDataSet('digits/testDigits/')#构建好的knn分类器对测试集进行预测，并计算预测的错误率res=knn.predict(dataSet)#对测试集进行预测error_num=np.sum(res!=hwLabels)#统计分类错误的数目num=len(dataSet)#测试集的数目print('Total num:',num,' wrong num:', error_num,' WrongRate:',error_num/float(num))

#!/usr/bin/env python

#-*-coding:utf-8-*-

#knn算法实例鸢尾花预测

from sklearn import neighbors

from sklearn import datasets

knn=neighbors.KNeighborsClassifier()

#加载数据

iris=datasets.load_iris()

#打印数据

print(iris)

#训练KNN分类器

knn.fit(iris.data,iris.target)

#KNN实验

predictedLabel=knn.predict([[0.1,0.2,0.3,0.4]])

print(predictedLabel)

结果解释：

鸢尾花的数据集

数据代表花瓣的长宽，花萼的长宽

预测目标target

预测结果【0】

#!/usr/bin/env python

#-*-coding:utf-8-*-

#knn实现手写数字识别

#1建立工程并导入sklearn包‘

import numpy as np

from os import listdir #使用listdir模块，用于访问本地文件

from sklearn import neighbors

#2加载训练数据

#将加载的32*32的图片矩阵展开成一列向量

def img2vector(fileName):

retMat=np.zeros([1024],int)#定义返回的矩阵，大小为1*1024

fr=open(fileName)#打开包含32*32大小的数字文件

lines=fr.readlines()#读取文件的所有行

for i in range(32):#遍历文件所有行

for j in range(32):#并将01数字存放在retMat中

retMat[i*32+j]=lines[i][j]

return retMat

#定义加载训练数据的函数readDataSet;

def readDataSet(path):

fileList=listdir(path)#获取文件夹下的所有文件

numFiles=len(fileList)#统计需要读取的文件的数目

dataSet=np.zeros([numFiles,1024],int)#用于存放所有的数字文件

hwLabels=np.zeros([numFiles])#用于存放对应的标签(与神经网络的不同)

for i in range(numFiles):#遍历所有的文件

filePath=fileList[i]#获取文件名称/路径

digit=int(filePath.split('_')[0])#通过文件名获取标签

hwLabels[i]=digit#直接存放数字，并非one-hot向量

dataSet[i]=img2vector(path+'/'+filePath)#读取文件内容

return dataSet,hwLabels

train_dataSet,train_hwLabels=readDataSet('digits/trainingDigits/')

#训练的图片，对应的标签

#3构建KNN分类器

knn=neighbors.KNeighborsClassifier(algorithm='kd_tree',n_neighbors=3)

knn.fit(train_dataSet,train_hwLabels)

#加载测试集

dataSet,hwLabels=readDataSet('digits/testDigits/')

#构建好的knn分类器对测试集进行预测，并计算预测的错误率

res=knn.predict(dataSet)#对测试集进行预测

error_num=np.sum(res!=hwLabels)#统计分类错误的数目

num=len(dataSet)#测试集的数目

print('Total num:',num,' wrong num:', error_num,' WrongRate:',error_num/float(num))

结果解释：

预测实例946, wrong num 为10 WrongRate 为 0.010570824524312896