机器学习中的聚类算法（1）：k-means算法

一文详解激光点云的物体聚类：https://mp.weixin.qq.com/s/FmMJn2qjtylUMRGrD5telw

引言：

Q：什么是聚类算法？

现在我们在做的深度学习当中，比如图像的识别和分类等等，这样的一般是有监督的学习。但是在现实当中有很多的数据他都是没有标签的，所以我们需要进行一种无监督或者非监督的学习。因此，聚类算法是一种很好的解决方案。

Q：聚类算法分为哪些类？

1、k-means算法原理

1.1核心思想：

k-means聚类算法的核心思想主要是选定K的值。K就表示你将这堆数据分成几个组。

在机器学习算法中有很多是需要我们去进行调参的，在这里我们所需要的调的参数就是这个K的值，K的不同选取是会影响到我们的聚类效果，

1.2算法实现/流程是什么：

比如说我有一堆数据，假设K=2，那么就是我希望把这一堆数据分为2组，所以每一组我都需要有一个聚类的中心，这个中心是怎么选取的呢？

第1步：刚开始是随机选取的，随机选取两个点分别当做两个组的中心A1、A2。中心点选取之后，这个中心点就是每个组的初始点，刚开始中心点都是随机选取的。
第2步：计算这个A1中心点与整个数据集里边每一个数据点之间的一个距离（就是计算除了与自身之外的其他点的距离），计算完之后就会有一个值。
第3步：第二个点A2(也就是令K=2时，选取的两个中心点，第一个已经在第一步计算过了)他也会计算他到所有数据点的一个距离，比如说在整个数据集中存在一个B点，这个B点会与选取的两个中心点A1、A2都计算一遍距离，如果B点与A1的距离小于B点与A2的距离，那么就表明B点距离A1比较近，那么就将B点划分到A1这个中心点所代表的的组中。
第4步：将所有点都做一个计算并进行一个距离的比较，我和哪一个中心点的距离小，那么我就其分到那一个中心点所代表的一组中，最终把所有点都跑一边。之后所有的点都会有一个分类归属。（此处是分成了2组）
第5步：当分成2组之后，并没有结束。他还会进行计算。此时把中心点进行移动(因为中心点是你自己随机选取的，这个中心点并不一定是你划分为组之后所有数据的一个中心)，为了将随机选取的中心点移动到该组真正所在的一个中心点，还是需要进行一个计算。

(移动的方式就是：因为我们随机选取的中心点A1和我们的组里边的每一个点都有一个距离，他会算出一个平均值，他这个平均值就是我们随机选取的初始点A1移动的一个距离（移动的话不是还需要方向吗？？？），按照这个距离进行移动假设此时移动到了N1点，这个N1点就是我们新算出来的一个中心点。那么此时这个N1点就会与数据集里边所有的点(注意是整个数据集不是每一个组内)里边所有的数据点再计算一遍距离，计算出来之后我就有了N1点和整个数据集内每一个点的距离了，再进行与另外一组的新中心点的距离比较，再次进行分组划分；

那么类似的，另一个随机选取的初始点A2他也会计算出来一个移动的距离(就是平均值，这个平均值的求出是与该组内即与自己所在的组内其他点距离的平均值不是所有整个数据集)，假设A2移动到了N2，那么N2这个点也会和数据集里边所有的点(注意是整个数据集不是每一个组内)也计算出来一个距离。比如此时整个数据集中有一个点E，如果该点E与N1的距离小于E与N2的距离，那么这个E点就划分到N1这个组里边去，这样操作又会把整个数据集分成两组。之后就是这样不断的循环，最后经过不断的移动，比如说移动到了最终的中心点（怎么确定这个是最终的中心点呢？））

确定某次移动过后这个就是最终的中心点F的方式：比如我们每次移动都会有一个中心点，将移动后本次的中心点F与上一次的中心点L进行一个比较，也就是计算F到L的一个距离，如果这个距离小于某一个阈值 $\delta$ ，(这个阈值 $\delta$ 是事先设定好的)，如果此时F到L的这个距离小于阈值 $\delta$ ，那就表明我这个中心点F他就不再移动了（此时基本上我把所有的数据都已经分组好了，没必要移动了）。

PS：其实整个过程就是在不断的计算比较的一个过程，直到最终找到中心为止。（所以就是不断的计算当前聚类的中心或者组的中心到所有点的距离，然后比较，看看我到底被分到哪一组，最终就会找到这个组的中心）

1.3基于sklearn(机器学习库)算法库实现的案例

虚拟的数据K到底选多少，会有一个评估的得分，得分越高，那么我这个K就选哪一个。

1.4K-means算法优缺点

2、应用时的一些Trick

（1）第一步随机的选取一个点，但是我们在应用的时候不能真的随机选择数据点中的随便一个点。

（2）k-means是受初始化影响的，不同初始化会不一样k-means的结果。所以对于同样的数据会执行几遍k-means，然后选取损失函数最小的那一次k-means作为最终的结果。

（3）在E-step的时候，要求n个点到k个中心点的nearset neighbor，我们可以使用k-d tree或者八叉树去做一些加速。

（4）还有一种变种的k-means叫做mini-batch，即在每一次迭代里边我都选不一样的subset of作为我算的数据，在每一次迭代里边我运算量就少了。代价就是可能会产生更坏的结果。

3、实战

-----