python机器学习（一）

一．作业题目

收集一些鸢尾花的数据，包括花瓣的长度和宽度（单位cm）。这些花被鉴定为属于setosa，versicolor，virgincia三个品种之一。构造一个机器模型，使用knn算法，从这些已知品种的鸢尾花数据中进行学习，预测新鸢尾花的品种，并计算出成功预测的概率。

二．算法设计

KNN介绍：K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是k个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN是通过测量不同特征值之间的距离进行分类。
思路：如果一个样本在特征空间中的k个最邻近的样本中的大多数属于某一个类别，则该样本也划分为这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。
　　图一是KNN最常见的图，比较容易理解。要确定绿点属于哪个颜色（红色或者蓝色），要做的就是选出距离目标点距离最近的k个点，看这k个点的大多数颜色是什么颜色。当k取3的时候，我们可以看出距离最近的三个，分别是红色、红色、蓝色，因此得到目标点为红色。

设计：

导入pandas模块，读取存放了大量鸢尾花数据的csv文件，读取到的将是一个矩阵
将数据划分为训练集和测试集。利用随机数选出15个测试集，剩下的作为是数据集
使用KNN算法：
（1）计算测试数据与训练数据各个点的距离，一般使用到欧几里得公式

而当点有多个维度时，距离为：

（2）将距离按从小到大排序
（3）选取距离最小的K个点；
（4）确定前K个点所在类别的出现频率；
（5）返回前K个点中出现频率最高的类别作为测试数据的预测分类
4.将真实值与预测结果做对比，得出成功预测的概率

三．源代码

import numpy as np
import pandas as pd
import operator#得到鸢尾花的数据
def getData():#读取自定义的文件，从中获得鸢尾花数据f = open('iris.csv')iris=pd.read_csv(f)return iris#将鸢尾花的数据分开为测试集与训练集
def Classification(iris):#得到15个随机数，从中选取15个作为随机数index=np.random.permutation(len(iris))index=index[0:15]#将测试集弄出来testSet=iris.take(index)#总的数据集减掉测试集就是训练集trainingSet=iris.drop(index)sets=[testSet,trainingSet]#分成了测试集和训练集print("数据集:\n")print(trainingSet)print("测试集:\n")print(testSet)return sets#K-近邻分析
#trainingSet训练数据，testSet是测试数据
def knn(trainingSet,testSet,trainingResults):#numpy函数shape[0]返回dataSet的行数totalsSize = trainingSet.shape[0]#将测试数据变成和训练数据一样的矩阵，把testSet分成totalSize行，1列的矩阵tests = np.tile(testSet, (totalsSize, 1)) - trainingSet#二维特征相减后平方后开根sqDiffMat =(tests**2)**0.5#sum()所有元素相加sqDistances = sqDiffMat.sum(axis=1)#sum（axis=1）等于1是行的相加，axis=0是列的相加#返回distances中元素从小到大排序后的索引值,即取距离近的sortedDistIndices = sqDistances .argsort()#取出第一个元素的类别voteIlabel = trainingResults[sortedDistIndices[1]]#返回第一个元素的类别return voteIlabeliris=getData()
sets=Classification(iris)
#品种就是数据集中分类的那一列，这里得到了训练集的数据和训练集的真实品种
trainingSet=sets[1].drop(columns=['品种']).values
trainingResults=sets[1]['品种'].values
#测试集
testSets=sets[0].values
#记录成功的次数
true=0
for i in testSets:#花萼的长宽、花瓣的长宽testSet=[i[0],i[1],i[2],i[3]]ret=knn(trainingSet,testSet,trainingResults)#如果返回的答案和测试数据的答案一样ture+1if ret==i[4]:true+=1
successRate=true/len(sets[0])
print('测试的成功率为：\n',successRate)

四．测试用例设计及调试过程截屏

为了验证可使用性，先做出18个数据集，从中抽取5个做测试集，其余做训练集

结果

多次结果都为1，再增添多点测试集增到10个

以上说明测试是具有一定可信度的

五．截图

图接下

第二次运行

图接下

以上分别为两次运行的结果，稍有不同。

六.总结

1.学习机器学习遇到的第一个算法就是KNN算法。近算法，或者说K最近邻(kNN，k-NearestNeighbor)分类算法是数据挖掘分类技术中最简单的方法之一。算法的过程也容易理解，易于实现。计算测试数据和训练数据的距离，并选取最小距离的点是重点。
但缺点是KNN对于随机分布的数据集分类效果较差，对于类内间距小，类间间距大的数据集分类效果好，而且对于边界不规则的数据效果好于线性分类器。　KNN对于样本不均衡的数据效果不好，需要进行改进。目前查阅到的资料是事先对样本属性进行约简，删除对分类结果影响较小的属性，快速的得出待分类样本的类别。该算法比较适用于样本容量比较大的类域的自动分类，而那些样本容量较小的类域采用这种算法比较容易产生误分。

2.代码编写的过程中遇到非常多的python语法知识，因为掌握不牢固导致编写非常困难。特别是关于库的安装，numpy、pandas、sklearn的安装就已经耗费了非常多的时间。还遇到了jupiter打不开的尴尬情况。最后代码还可以进行优化。点的取值k可以为多个，再从中抽取频率较高的作为预测值，但由于python知识不牢固实现有些困难，日后再进行更新。