前言javascript

kmeans是最简单的聚类算法之一，可是运用十分普遍。最近在工做中也常常遇到这个算法。kmeans通常在数据分析前期使用，选取适当的k，将数据分类后，而后分类研究不一样聚类下数据的特色。html

本文记录学习kmeans算法相关的内容，包括算法原理，收敛性，效果评估聚，最后带上R语言的例子，做为备忘。java

算法原理算法

kmeans的计算方法以下：shell

1 随机选取k个中心点app

2 遍历全部数据，将每一个数据划分到最近的中心点中机器学习

3 计算每一个聚类的平均值，并做为新的中心点ide

4 重复2-3，直到这k个中线点再也不变化(收敛了)，或执行了足够多的迭代函数

时间复杂度：O(I*n*k*m)post

空间复杂度：O(n*m)

其中m为每一个元素字段个数，n为数据量，I为跌打个数。通常I,k,m都可认为是常量，因此时间和空间复杂度能够简化为O(n)，即线性的。

算法收敛

从kmeans的算法能够发现，SSE实际上是一个严格的坐标降低(Coordinate Decendet)过程。设目标函数SSE以下：

SSE(,,…,) =

采用欧式距离做为变量之间的聚类函数。每次朝一个变量的方向找到最优解，也就是求偏倒数，而后等于0，可得

c_i= 其中m是c_i所在的簇的元素的个数

也就是当前聚类的均值就是当前方向的最优解(最小值)，这与kmeans的每一次迭代过程同样。因此，这样保证SSE每一次迭代时，都会减少，最终使SSE收敛。

因为SSE是一个非凸函数(non-convex function)，因此SSE不能保证找到全局最优解，只能确保局部最优解。可是能够重复执行几回kmeans，选取SSE最小的一次做为最终的聚类结果。

0-1规格化

因为数据之间量纲的不相同，不方便比较。举个例子，好比游戏用户的在线时长和活跃天数，前者单位是秒，数值通常都是几千，然后者单位是天，数值通常在个位或十位，若是用这两个变量来表征用户的活跃状况，显然活跃天数的做用基本上能够忽略。因此，须要将数据统一放到0~1的范围，将其转化为无量纲的纯数值，便于不一样单位或量级的指标可以进行比较和加权。具体计算方法以下：

其中属于A。

轮廓系数

轮廓系数(Silhouette Coefficient)结合了聚类的凝聚度(Cohesion)和分离度(Separation)，用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。具体计算方法以下：

对于第i个元素x_i，计算x_i与其同一个簇内的全部其余元素距离的平均值，记做a_i，用于量化簇内的凝聚度。

选取x_i外的一个簇b，计算x_i与b中全部点的平均距离，遍历全部其余簇，找到最近的这个平均距离,记做b_i，用于量化簇之间分离度。

对于元素x_i，轮廓系数s_i = (b_i – a_i)/max(a_i,b_i)

计算全部x的轮廓系数，求出平均值即为当前聚类的总体轮廓系数

从上面的公式，不难发现若s_i小于0，说明x_i与其簇内元素的平均距离小于最近的其余簇，表示聚类效果很差。若是a_i趋于0，或者b_i足够大，那么s_i趋近与1，说明聚类效果比较好。

K值选取

在实际应用中，因为Kmean通常做为数据预处理，或者用于辅助分类贴标签。因此k通常不会设置很大。能够经过枚举，令k从2到一个固定值如10，在每一个k值上重复运行数次kmeans(避免局部最优解)，并计算当前k的平均轮廓系数，最后选取轮廓系数最大的值对应的k做为最终的集群数目。

实际应用

下面经过例子(R实现，完整代码见附件)讲解kmeans使用方法，会将上面提到的内容所有串起来

加载实验数据iris，这个数据在机器学习领域使用比较频繁，主要是经过画的几个部分的大小，对花的品种分类，实验中须要使用fpc库估计轮廓系数，若是没有能够经过install.packages安装。

对iris的4个feature作数据正规化，每一个feature均是花的某个不为的尺寸。

评估k，因为通常K不会太大，太大了也不易于理解，因此遍历K为2到8。因为kmeans具备必定随机性，并非每次都收敛到全局最小，因此针对每个k值，重复执行30次，取并计算轮廓系数，最终取平均做为最终评价标准，能够看到以下的示意图，

当k取2时，有最大的轮廓系数，虽然实际上有3个种类。

聚类完成后，有源原始数据是4纬，没法可视化，因此经过多维定标(Multidimensional scaling)将纬度将至2为，查看聚类效果，以下

能够发现原始分类中和聚类中左边那一簇的效果仍是拟合的很好的，右测原始数据就连在一块儿，kmeans没法很好的区分，须要寻求其余方法。

kmeans最佳实践

1. 随机选取训练数据中的k个点做为起始点

2. 当k值选定后，随机计算n次，取获得最小开销函数值的k做为最终聚类结果，避免随机引发的局部最优解

3. 手肘法选取k值：绘制出k--开销函数闪点图，看到有明显拐点(以下)的地方，设为k值，能够结合轮廓系数。

4. k值有时候须要根据应用场景选取，而不能彻底的依据评估参数选取。

参考