python2 代码实现：

from numpy import *

import numpy

def loadDataSet(fileName): #general function to parse tab -delimited floats

dataMat = [] #assume last column is target value

fr = open(fileName)

for line in fr.readlines():

curLine = line.strip().split('\t')

fltLine = map(float,curLine) #map all elements to float()

dataMat.append(fltLine)

return dataMat

def distEclud(vecA, vecB):

return sqrt(sum(power(vecA - vecB, 2))) #la.norm(vecA-vecB)

def randCent(dataSet, k):

n = shape(dataSet)[1]

centroids = mat(zeros((k,n)))#create centroid mat

for j in range(n):#create random cluster centers, within bounds of each dimension

minJ = min(dataSet[:,j])

rangeJ = float(max(dataSet[:,j]) - minJ)

centroids[:,j] = mat(minJ + rangeJ * random.rand(k,1))

return centroids

def kMeans(dataSet, k, distMeas=distEclud, createCent=randCent):

m = shape(dataSet)[0]

clusterAssment = mat(zeros((m,2)))#create mat to assign data points

#to a centroid, also holds SE of each point

centroids = createCent(dataSet, k)

clusterChanged = True

while clusterChanged:

clusterChanged = False

for i in range(m):#for each data point assign it to the closest centroid

minDist = inf; minIndex = -1

for j in range(k):

distJI = distMeas(centroids[j,:],dataSet[i,:])

if distJI < minDist:

minDist = distJI; minIndex = j

if clusterAssment[i,0] != minIndex: clusterChanged = True

clusterAssment[i,:] = minIndex,minDist**2

print centroids

for cent in range(k):#recalculate centroids

ptsInClust = dataSet[nonzero(clusterAssment[:,0].A==cent)[0]]#get all the point in this cluster

centroids[cent,:] = mean(ptsInClust, axis=0) #assign centroid to mean

return centroids, clusterAssment

#以上代码基本跟上篇python3的代码一致，除了2跟3语法不同的语句外

二分K均值算法

为了克服K均值算法收敛于局部最小值的问题，提出了二分K均值算法。

算法思想

该算法首先将所有点作为一个簇，然后将该簇一分为2，之后选择其中一个簇继续进行划分，划分规则是按照最大化SSE(目标函数)的值。

主要步骤：将所有点看成一个簇

计算每一个簇的总误差

在给定的簇上进行K均值聚类，计算将簇一分为二的总误差

选择使得误差最小的那个簇进行再次划分

重复步骤2，直到簇的个数满足要求

具体实现

def biKmeans(dataSet, k, distMeas=distEclud):

m = shape(dataSet)[0]

clusterAssment = mat(zeros((m,2)))#创建一个矩阵存储每个点的簇分配结果及平方误差

centroid0 = mean(dataSet, axis=0).tolist()[0]#计算整个数据集的质心

centList =[centroid0] #create a list with one centroid#使用一个列表来保留所有的质心

for j in range(m):#calc initial Error 遍历数据集中所有点

clusterAssment[j,1] = distMeas(mat(centroid0), dataSet[j,:])**2#计算每个点到质心的误差值

while (len(centList) < k):#该循环会不停对簇进行划分，直到得到想要的簇数目为止，为此需要比较划分前后的sse

lowestSSE = inf#开始将最小SSE设为无穷大

for i in range(len(centList)):#遍历簇列表centList中的每个簇来决定最佳的簇进行划分

ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A==i)[0],:]#get the data points currently in cluster i 对每个簇，对该簇中的所有点看成一个小的数据集ptsInCurrCluster

centroidMat, splitClustAss = kMeans(ptsInCurrCluster, 2, distMeas)#将ptsInCurrCluster输入到函数kmeans()(k=2)中进行处理生成2个质心簇，并给出每个簇的误差值

#误差与剩余数据集的误差之和将作为本次划分的误差

sseSplit = sum(splitClustAss[:,1])#compare the SSE to the currrent minimum

sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])

print "sseSplit, and notSplit: ",sseSplit,sseNotSplit

if (sseSplit + sseNotSplit) < lowestSSE:#如果该划分的sse值最小，则本次划分保存

...

一旦决定了要划分的簇，就要执行实际划分操作，即将要划分的簇中所有点的簇分配结果进行修改即可。当使用KMEANS()函数并簇数为2时，得到两个编号0与1的结果簇，需要将这些簇编号修改改为划分簇与新加簇的编号，该过程通过2个数组过滤器完成

...

bestCentToSplit = i

bestNewCents = centroidMat

bestClustAss = splitClustAss.copy()

lowestSSE = sseSplit + sseNotSplit#

bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] = len(centList) #change 1 to 3,4, or whatever

bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] = bestCentToSplit

print 'the bestCentToSplit is: ',bestCentToSplit

print 'the len of bestClustAss is: ', len(bestClustAss)

centList[bestCentToSplit] = bestNewCents[0,:].tolist()[0]#replace a centroid with two best centroids #新的簇分配结果被更新

centList.append(bestNewCents[1,:].tolist()[0])#新的质心添加到centlist中

clusterAssment[nonzero(clusterAssment[:,0].A == bestCentToSplit)[0],:]= bestClustAss#reassign new clusters, and SSE

return mat(centList), clusterAssment #while循环结束后，同kmeans()函数一样，函数返回质心列表与簇分配结果

下面几个函数是将一个API字典里的地址转换为经度与纬度，然后对给出的地址坐标进行聚类，最后画出所有点以及簇中心，并看看聚类结果到底如何。

import urllib

import json

def geoGrab(stAddress, city): #函数geoGrab()从雅虎返回一个字典

apiStem = 'http://where.yahooapis.com/geocode?' #create a dict and constants for the goecoder

params = {}

params['flags'] = 'J'#JSON return type返回类型为json格式

params['appid'] = 'aaa0VN6k'

params['location'] = '%s %s' % (stAddress, city)

url_params = urllib.urlencode(params)#urllib的urlencode()函数将创建的字典转换为可通过URL进行传递的字符串格式

yahooApi = apiStem + url_params

print yahooApi #打印输出的URL

c=urllib.urlopen(yahooApi)#打开url

return json.loads(c.read())#读取返回值

由于返回值是json格式，所以可以使用json的python模块来将其解码为一个字典，一旦返回了解码后的字典，也就意味着你成功的对一个地址进行了地理编码。

from time import sleep

def massPlaceFind(fileName):#massplacefind()函数将所有这些封装起来并且将相关信息保存到文件中

fw = open('places.txt', 'w')#打开一个文本文件

for line in open(fileName).readlines():

line = line.strip()

lineArr = line.split('\t')#tab分割的文件

retDict = geoGrab(lineArr[1], lineArr[2])#获取第2列第3列结果，并输入到geoGrab函数中

if retDict['ResultSet']['Error'] == 0:#检查geoGrab()的输出字典判断有没有错误，如果没有错误，就可以从字典中读取经纬度，

lat = float(retDict['ResultSet']['Results'][0]['latitude'])

lng = float(retDict['ResultSet']['Results'][0]['longitude'])

print "%s\t%f\t%f" % (lineArr[0], lat, lng)

fw.write('%s\t%f\t%f\n' % (line, lat, lng))#这些值被添加到原来的原来对应的行上，同时写入到新的文件中

else: print "error fetching" #如果有错误，就不需要抽取经纬度

sleep(1)#利用sleep()函数将massPlaceFind()函数推迟1秒，为了保护不要在短时间内过于频繁的调用API,因为如果频繁调用，请求可能会被封掉，所以推迟一下比较好。

fw.close()

对地理坐标进行聚类

def distSLC(vecA, vecB):#Spherical Law of Cosines

a = sin(vecA[0,1]*pi/180) * sin(vecB[0,1]*pi/180)

b = cos(vecA[0,1]*pi/180) * cos(vecB[0,1]*pi/180) * \

cos(pi * (vecB[0,0]-vecA[0,0]) /180)#使用球面余弦定理来计算2个经纬度之间的距离，因为两级与赤道同时走相同的距离对经纬度的变化不同

return arccos(a + b)*6371.0 #pi is imported with numpy#返回地球表面两点之间的距离

簇聚类及绘图函数

import matplotlib

import matplotlib.pyplot as plt

def clusterClubs(numClust=3):

datList = []

for line in open('C:/Users/HZF/Desktop/python数据挖掘十大算法实现/11.csv').readlines():

lineArr = line.strip().split(',')

#print lineArr

#np.array

fltLine = map(float,lineArr)

#print fltLine

datList.append(fltLine)

#print dataList

#datList=numpy.array(datList)

#print datList

datMat = mat(datList)

myCentroids, clustAssing= kMeans(datMat, numClust)#使用kmeans算法聚类，这里也可以调用bikmeans聚类

#print myCentroids, clustAssing

fig = plt.figure()

rect=[0.1,0.1,0.8,0.8]

scatterMarkers=['s', 'o', '^', '8', 'p', \

'd', 'v', 'h', '>', '

axprops = dict(xticks=[], yticks=[])

ax0=fig.add_axes(rect, label='ax0', **axprops)

plt.savefig('glp.png', dpi = 75)

imgp=plt.imread('portland.png')#imread()函数基于一副图像来创建矩阵

ax0.imshow(imgP)#绘制该矩阵

ax1=fig.add_axes(rect, label='ax1', frameon=False)

for i in range(numClust):#遍历每一个簇

ptsInCurrCluster = datMat[nonzero(clustAssing[:,0].A==i)[0],:]

markerStyle = scatterMarkers[i % len(scatterMarkers)]#使用索引i%len(scatterMarkers)选择标记形状，当有更多簇时，可以循环使用这些标记

ax1.scatter(ptsInCurrCluster[:,0].flatten().A[0], ptsInCurrCluster[:,1].flatten().A[0], marker=markerStyle, s=90)#一一画出来

ax1.scatter(myCentroids[:,0].flatten().A[0], myCentroids[:,1].flatten().A[0], marker='+', s=300)#使用+字标记表示簇中心

plt.show()#显示在图中

if __name__=='__main__': #主函数调用

clusterClubs(numClust=3)

这篇是对kmeans算法的python2实现，下篇主要写应用及参考文献。会尽快更新！

(待续)