聚类算法之k-均值，k-中心点

k-means和k-中心点算法是属于简单的迭代型聚类算法，它将一个给定的数据集分为用户指定的k个聚簇。实现和运行该算法都很简单，它的速度比较快，同时又易于修改，所以在实际应用中使用非常广泛。

K-means算法

k-means算法是硬聚类算法，是典型的基于原型的目标函数聚类算法的代表。它是数据点到原型的某种距离作为相似性的评价指标，即两个对象的距离越接近，其相似度就越大。算法采用误差平方和准侧函数作为聚类准则函数。

算法实现

输入：

k：簇的数目

D：包含n个对象的数据集

输出：k个簇的集合

方法：

（1）：从D中任意选择k个对象作为初始簇中心

（2）：repeat

（3）：根据簇中的对象的均值，将每个对象分配到最相似的簇

（4）：更新簇均值，即重新计算每个簇中对象的均值

（5）：util不再发生变化

k-means方法是不保证收敛于全局最优解，并且它通常终止于一个局部最优解。结果可能依赖于初始簇中心的随机选取。

k-means算法的优点：

1：是聚类算法中的一种经典，快速，简单的算法

2：对处理大数据集，该算法保持可伸缩性和可扩展性

3：当簇接近高斯分布时，结果较好

k-means算法的缺点：

1：在簇的平均值可被定义的情况下才能使用，可能不适用于某些应用，比如说标量数据

2：在 K-means 算法中 K 是事先给定的，这个 K 值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。

3：在 K-means 算法中，首先需要根据初始聚类中心来确定一个初始划分，然后对初始划分进行优化。这个初始聚类中心的选择对聚类结果有较大的影响，一旦初始值选择的不好，可能无法得到有效的聚类结果。

4：该算法需要不断地进行样本分类调整，不断地计算调整后的新的聚类中心，因此当数据量非常大时，算法的时间开销是非常大的。

5：若簇中含有异常点，将导致均值偏离严重（即:对噪声和孤立点数据敏感）。

6：不适用于发现非凸形状的簇或者大小差别很大的簇。

k-means算法的改进

1、很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。通过类的自动合并和分裂，得到较为合理的类型数目 K，例如 ISODATA 算法。

2、针对上述3，可选用二分K-均值聚类；或者多设置一些不同的初值，对比最后的运算结果，一直到结果趋于稳定结束。

3、针对上述第5点，改成求点的中位数，这种聚类方式即K-Mediods聚类（K中值）

k-means算法的实现

def readfile(filename):lines=[line for line in open(filename)]#第一行是列标题colnames=lines[0].strip().split('\t')[1:]rownames=[]data=[]for line in lines[1:]:p=line.strip().split('\t')#每一行的第一列是行名rownames.append(p[0])#剩余部分就是行对应的数据onerow = [float(x) for x in p[1:]]data.append(onerow)return rownames,colnames,data#计算两行的皮尔逊相似度
def pearson(v1,v2):#简单求和sum1=sum(v1)sum2=sum(v2)#求平方和sum1Sq=sum([pow(v,2) for v in v1])sum2Sq=sum([pow(v,2) for v in v2])#求乘积之和Psum=sum([v1[i]*v2[i] for i in range(len(v1))])#计算rnum=Psum-(sum1*sum2/len(v1))den=sqrt((sum1Sq-pow(sum1,2)/len(v1))*(sum2Sq-pow(sum2,2)/len(v1)))if den == 0:return 0return 1.0-num/den#每个点表示一行，每个聚类点表示一类。rows数据集，distance距离计算方法，k聚类的数目
def kcluster(rows,distance=pearson,k=4):#确定每个点的特征的最小值和最大值--->每一列的最大值和最小值ranges = [(min([row[i] for row in rows]), max([row[i] for row in rows])) for i in range(len(rows[0]))]#为每一列生成一个随机聚类点clusters = [[random.random() * (ranges[i][1] - ranges[i][0]) + ranges[i][0]for i in range(len(rows[0]))] for j in range(k)]lastmatches = Nonefor t in range(100): #默认迭代一百次print("迭代 %d" % t)# 生成k个空数组，用于存储k个聚类点包含的成员bestmatches = [[] for i in range(k)]#在每一行中寻找距离最近的点for j in range(len(rows)):row = rows[j]bestmatchIndex = 0for i in range(k):d = distance(clusters[i], row)if d < distance(clusters[bestmatchIndex], row):bestmatchIndex = ibestmatches[bestmatchIndex].append(j) #每个聚类点记录它包含的成员#如果结果与上次一样，则整个过程结束if bestmatches == lastmatches:breaklastmatches = bestmatches#把中心点移到成员的平均位置处for i in range(k):avgs = [0.0]*len(rows[0])if len(bestmatches[i]) > 0:for rowid in bestmatches[i]:for m in range(len(rows[rowid])):avgs[m] += rows[rowid][m]for j in range(len(avgs)):avgs[j] /= len(bestmatches[i])clusters[i] = avgsreturn bestmatchesif __name__ == '__main__':blognames,words,data = readfile('blogdata.txt')kclust = kcluster(data,k=4)print([blognames[r] for r in kclust[0]])

k-中心点算法

k-means算法对离群点敏感，因为这种对象远离大多数数据，因此分配到一个簇时，他们可能严重地扭曲簇的均值。我们可以不采用簇中对象的均值作为参考点，而是挑选实际对象来代表簇。k-中心点使用了一个绝对误差标准。典型的算法为PAM

PAM实现过程

输入：

k:结果簇的个数

D：包含n个对象的数据集合

输出：k个簇的集合

方法：

1：从D中随即选择k个对象作为初始的代表对象或种子

2：repeat

3：将每个剩余的对象分配到最近的代表对象所代表的簇

4：随即地算则一个非代表对象O

5：计算用O代替代表对象的总代价S

6： if S<0，then O代替代表对象，形成新的k个代表对象的集合

7：util不再发生变化。

PAM这样的典型k-中心点算法在小型数据集上运行良好，但是不能很好地用于大数据集，为了处理大数据集，可以使用一种称为CLARA(Clustering LARge Applications，大型应用聚类)的基于抽样的方法。

PAM（partitioning around medoid，围绕中心点的划分）是具有代表性的k-medoids算法。
它最初随机选择k个对象作为中心点，该算法反复的用非代表对象（非中心点）代替代表对象，试图找出更好的中心点，以改进聚类的质量。
例子：
空间有5点{A,B,C,D,E}, 各点之间距离关系如表，根据pam算法进行聚类分析。

样本点	A	B	C	D	E
A	0	1	2	2	3
B	1	0	2	4	3
C	2	2	0	1	5
D	2	4	1	0	3
E	3	3	5	3	0

假设分为2类，以A，B为中心点，初始聚类为{A,C,D}和{B,E}。接下来进行交换（以非代表对象代替代表对象），我们需要计算TCac、TCad、TCae、TCbc、TCbd、TCbe。
TCij表示用非中心点j替换中心点i所产生的代价。
计算TCAC：当A被C替换后，设一指针p遍历所有对象，判断他们是否聚到别的类里。

1：先看A是否变化：C成为中心点后，A离B比A离C近，故A被划分到B簇里。所产生的代价为d(A,B)-d(A,A)=1(d(i,j)表示i划分到中心点j的距离；差值表示属于新的中心点-属于旧的中心点产生的代价。)
2：看B是否变化：C成为中心点后，B当然离自己是最近的，不变
3：看C是否变化：C成为中心点后，C划分到C簇里，代价为d(C,C)-d(C,A)=-2
4：看D是否变化：C成为中心点后，D离C最近，故划分到C里，代价为d（D,C）-d（D,A）=-1；
5：看E是否变化：C成为中心点后，E离B最近，为0
TCac就等于上述的代价之和，为1+0-2-1+0=-2。
同理需要计算TCAD=-2、TCAE=-1、TCBC=-2、TCBD=-2、TCBE=-2
然后选取代价最小的替换，这里有多个选择，随便选择一个就行。选C的话，新的簇为{C,D}和{A,B,E}。新的簇中心为C，B，继续迭代计算直到收敛。
为了判定一个非代表对象orandom是否是当前一个代表对象oi的好的替代，对于每一个非中心点p，需要考虑下面4中情况：

第一种情况：p当前隶属于代表对象oj（A类中心点），如果oj被orandom所代替作为代表对象，并且p离其他代表对象oi（B类的中心点）最近，则p重新分配给oi。(i!=j)

第二种情况：p当前隶属于代表对象oj（A类中心点），如果oj被orandom所代替作为代表对象，并且p离orandom（新的中心点）最近，则p重新分配给orandom。(i!=j)

第三种情况：p当前隶属于代表对象oi（B类中心点），如果oj被orandom所代替作为代表对象，并且p仍然离oi最近，则p不发生变化。(i!=j)

第四种情况：p当前隶属于代表对象oi（B类中心点），如果oj被orandom所代替作为代表对象，并且p离orandom最近，则p重新分配给orandom。(i!=j)

参考文献：

数据挖掘概念与技术

k-means算法的优缺点

https://blog.csdn.net/shuaishuai3409/article/details/50016013