# -*- coding: utf-8 -*-from numpy import *
def createDataSet():#创建一个很小的数据库group=array([[1.0,0.9],[1.0,1.0],[0.1,0.2],[0.0,0.1]])labels=['A','A','B','B']return group,labels
#[1.2,1.0]
def kNNClassify(newInput,dataset,labels,k):#knn算法核心#先求数据库中每个点到所求点之间的距离numSamples=dataset.shape[0] #获取数据库的行数diff=tile(newInput,(numSamples,1))-dataset#使用tile函数迭代创建一个numSample行1列的array与dataset做差squaredDiff=diff**2#diff中的每一个数都平方squaredDist=sum(squaredDiff,axis=1)#每一行两数求和distance=squaredDist**0.5#再开方#再对距离进行排序sortedDistIndices=argsort(distance)#argsort函数对distance中元素从小到大排序，返回序号classCount={}#统计距离小于等于k的每个点的类别for i in xrange(k):voteLabel=labels[sortedDistIndices[i]]classCount[voteLabel]=classCount.get(voteLabel,0)+1maxCount=0              #找出离所求点最近的k个点中最多的类别         for key,value in classCount.items():if maxCount<value:maxCount=valuemaxIndex=key#返回所求点的类型，算法到此结束return maxIndex

import kNN
from numpy import *dataSet,labels=kNN.createDataSet()
testX=array([0,0.05])
k=3
maxIndex=kNN.kNNClassify(testX,dataSet,labels,3)
print maxIndex

# -*- coding: utf-8 -*-
from numpy import *
import os
def kNNClassify(newInput,dataset,labels,k):#knn算法核心#先求数据库中每个图像与所要分类图像像素值差的平方再开方，用这种计算方法表示距离（相似度）俗称欧氏距离numSamples=dataset.shape[0] #获取数据库的行数（即文件夹下的文件数）diff=tile(newInput,(numSamples,1))-dataset#使用tile函数迭代创建一个numSample行1列的array与dataset做差squaredDiff=diff**2#diff中的每一个数都平方squaredDist=sum(squaredDiff,axis=1)#每一行的数求和distance=squaredDist**0.5#再开方#再对距离进行排序sortedDistIndices=argsort(distance)classCount={}#统计距离为k的每个图像的类别（即统计相似度最小的k个图像所表示的数字）for i in xrange(k):  voteLabel = labels[sortedDistIndices[i]]  classCount[voteLabel] = classCount.get(voteLabel, 0) + 1maxCount=0            #找出离所求图像类别最近的k个图像中最多的类别       for key,value in classCount.items():if maxCount<value:maxCount=valuemaxIndex=key#返回所求图像的类型（类型即数字）return maxIndex#函数img2vector把一张32*32的图像转化成一行向量imgVector
def img2vector(filename):rows=32cols=32imgVector=zeros((1,rows*cols))fileIn=open(filename)for row in xrange(rows):lineStr=fileIn.readline()for col in xrange(cols):imgVector[0,row*32+col]=int(lineStr[col])return imgVector#函数loadDataSet从文件夹中加载多个文件数据，python对文件数据流加载到内存的操作很方便，这里的代码可以仔细理解加记忆一下
def loadDataSet():dataSetDir='/home/chao/Desktop/python_work/knn/'trainingFileList=os.listdir(dataSetDir+'trainingDigits')numSamples=len(trainingFileList)train_x=zeros((numSamples,1024))#使用zeros函数为train_x分配numSamples行，每行1024列，每行为一个图像转化后的数据，总共numSamples行train_y=[]#用来存放每个图像的真实值for i in xrange(numSamples):filename=trainingFileList[i]train_x[i,:]=img2vector(dataSetDir+'trainingDigits/%s'%filename)label=int(filename.split('_')[0])train_y.append(label)testingFileList=os.listdir(dataSetDir+'testDigits')numSamples=len(testingFileList)test_x=zeros((numSamples,1024))#同train_x，但这里表示的是测试图像文件的test_y=[]for i in xrange(numSamples):filename=testingFileList[i]test_x[i,:]=img2vector(dataSetDir+'testDigits/%s'%filename)label=int(filename.split('_')[0])test_y.append(label)return train_x,train_y,test_x,test_y#测试预测准确率
def testHandWritingClass():print "第一步：加载数据。。。"train_x,train_y,test_x,test_y=loadDataSet()numTestSamples=test_x.shape[0]#返回待测试图像的个数print "数据加载完成"matchCount=0#用来表示预测正确的图像的个数#每个待测图像都要调用一次knn预测其值for i in xrange(numTestSamples):print ipredict=kNNClassify(test_x[i],train_x,train_y,3)#这里k=3准确率达98.63%，如果改成k=1的话会达到98.97%if predict==test_y[i]:matchCount+=1accuracy=float(matchCount)/numTestSamplesprint matchCount#打印正确预测个数print "accuracy is:%.2f%%"%(accuracy*100)#打印正确预测准确率

# -*- coding: utf-8 -*-
import kNN2
kNN2.testHandWritingClass()

933个预测正确
accuracy is:98.63%