KNN算法(10折交叉验证)

一、问题描述

在UC Irvine Machine Learning数据集上选择三个数据，编写KNN算法预测结果，并使用十次-十折交叉验证

二、数据集选用

1.Wine.data
2.Iris.data
3.O-ring-erosion-only.data
实验平台:Python3.7
数据集下载
提取码：7060

三、 KNN分类器

kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。
原理：
１.存在一个训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。
２.输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。在这里距离一般用欧式距离或曼哈顿距离。

３.一般的，我们只选择样本数据集中前ｋ个最相似的数据，通常ｋ是不大于２０的整数，最后选择ｋ个最相似数据中出现次数最多的分类，作为新数据的分类。

四、十折交叉验证

十折交叉验证是将训练集分割成10个子样本，一个单独的子样本被保留作为验证模型的数据，其他9个样本用来训练。交叉验证重复10次，每个子样本验证一次，平均10次的结果或者使用其它结合方式，最终得到一个单一估测。这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次，10次交叉验证是最常用的。

五、源码

'''1、计算已知类别数据集中的点与当前点之间的距离2、按照距离递增次序排序3、选取与当前点距离最小的k个点4、确定前k个点所在类别的出现概率5、返回前k个点出现频率最高的类别作为当前点的预测分类
'''
import numpy as np
import operator#处理文本
def fileToMatrix(iris):fr = open(iris)arrayOLines = fr.readlines()numberOfLines = len(arrayOLines)returnMat = np.zeros((numberOfLines, 5))classLabelVector = []index = 0for line in arrayOLines:line = line.strip()listFromLine = line.split(',')returnMat[index,:] = listFromLine[0:5]classLabelVector.append(listFromLine[-1])index += 1return returnMat, classLabelVector#功能：归一化数据，避免某些数据的特征值过大
#def autoNorm(dataSet):
def autoNorm(dataSet):minVals = dataSet.min(0)#取列值的最小值maxVals = dataSet.max(0)ranges = maxVals - minValsnormDataSet = np.zeros(np.shape(dataSet))m = dataSet.shape[0]normDataSet = dataSet - np.tile(minVals, (m,1))normDataSet = normDataSet/np.tile(ranges, (m, 1))#特征值相除return normDataSet, ranges, minVals#功能：kNN核心算法
#intX - 输入向量，dataSet - 输入训练样本集，labels - 标签向量,k表示用于选择最近邻居的数目
#def classify(inX, dataSet, labels, k):
def classify(inX, dataSet, labels,k):#欧式距离的计算dataSize = dataSet.shape[0]#数据的行数diffMat = np.tile(inX, (dataSize,1)) - dataSet#将输入向量inX纵向重复dataSet的行数次sqDiffMat = diffMat ** 2 #距离度量，度量公示为欧氏距离sqDistances = sqDiffMat.sum(axis = 1)# 每行数据相加distances = sqDistances ** 0.5#得到训练样本集每一点与当前点的距离sortedDistIndicies = distances.argsort() #对欧式距离进行排序#选择距离最小的k个点classCount = {}for i in range(k):voteIlabel = labels[sortedDistIndicies[i]]#最近K个的距离对应的类别classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1#类别分别出现的概率sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)#选择发生频率最高的元素标签进行排序return sortedClassCount[0][0]#功能：#功能：十折交叉验证
#思路：将数据集分成十份，轮流将其中9份做训练1份做测试，10次结果的均值作为对算法精度的估计
#一般还要进行多次10倍交叉验证#def dataClassTest(iris, k):
if __name__=='__main__':file_data = 'iris.data'k=5testRate = 0.1datingDataMat, datingLabels = fileToMatrix(file_data)datingDataMat = datingDataMat[:,:k-1]normMat, ranges, minVals = autoNorm(datingDataMat)m = normMat.shape[0]numTestVecs = int(m * testRate)all = 0for k in range(1,11):t = normMat[0:numTestVecs]p = datingLabels[0:numTestVecs]for i in range(numTestVecs):errorCount = 0classifierResult = classify(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)if(classifierResult != datingLabels[i]):    errorCount += 1.0#----------将第几折的数据拿出来，放回到normMat的前面b = normMat[numTestVecs*(k-1):numTestVecs*k]normMat[0:numTestVecs] = bnormMat[numTestVecs*(k-1):numTestVecs*k] = terrorRate = errorCount/float(numTestVecs)#----------将第几折类别拿出来，放回到datingLabels的前面c = datingLabels[numTestVecs*(k-1):numTestVecs*k]datingLabels[0:numTestVecs] = cdatingLabels[numTestVecs*(k-1):numTestVecs*k] = perrorRate = errorCount/float(numTestVecs)all = all + errorRate#------------------------------------------------------------------print("第%d折分类的错误率为%f" % (k,(errorCount/float(numTestVecs))))#获得平均错误率print("平均正确率为%f" % (1-(all/10)))

六、实验结果

6.1 wine.data

6.2 iris.data

6.3 o-ring-erosion-only.data

七、实验结果分析总结：

   通过对比三个数据集，数据类型相似或相近，在酒和鸢尾花上交叉验证的准确率分别高达94%和99%，在O形圈上的准确率是50%，这是与数据中的数据特征相关，数据本身数值影响了分类准确率。KNN算法优点是精度较高、无数据输入假定；缺点是空间复杂度高。验证法与2折、3折相比，10折同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次，能得到更精确的分类器。