本文介绍方法：

Partition Methods（划分型聚类）：K-means，Sequential Leader（序列数据的算法），Model Based Methods，Density Based Methods

Hierarchical Methods（层次型聚类）

什么是聚类分析？

寻找一组一组相似的object

每个簇内相对接近，每个簇内是相对差异（no label，无监督）

应用范围：

Big picture：

Requirements：

聚类算法的选取，与数据的结构、分布、有无噪点都密切相关

原始数据，经过不同的坐标变换，会有不同的聚类结果的影响

Evaluation：

Silhouette：

MATLAB中的一个函数：对于每个样本点算术值，定义了A（这个点到与其相同cluster其他点的平均距离），B（这个点到与其不同cluster其他点的平均距离）

K-means（基于距离的）：

先随机猜测中心点的位置，不断的机器学习，更新参数值

Comments on K-means：

簇之间距离较远、球形数据的聚类效果会更好（5,6步之内左右就基本确定了）

数据点很大，会导致效果较慢；K值的确定很困难；会收敛至局部最优；噪点敏感（因为均值对噪点敏感）

Sequential Leader：

数据点一个一个过来，挨个处理，一次遍历处理结束（最简单的聚类，不需要多次迭代）。

不需要K值，阈值的选择很重要。

新来的点自立门户，第二个点与之前的簇的中心计算距离，在阈值内则归到该簇，否则自立门户。

Gaussian Mixture（基于模型的聚类）：

高斯做密度估计（曲线下面积为1）。起初随意设计高斯函数，最后根据某种规则不断地迭代，慢慢会fit到不同的数据上

两个高斯（两个峰值），但距离很近，会多形成出一个峰值，所以peak值与高斯个数是不相同的

EM（期望最大化）算法：

引入：（K-means）

Z是未知的，但是如果知道了模型参数）（中心点坐标）就知道了Z ；已知Z就可以求得中心点坐标--> 可以假设中心点坐标，就可以根据距离远近分类得到Z，再利用Z的分类反推中心点坐标。

抛硬币（不均匀）--> EM的基本工作流程：

想知道不同硬币A，B头向上的概率，利用最大似然估计：

给两个硬币，继续抛硬币，但不知道哪个是A，B

首先猜测不同硬币头向上的概率，在猜测硬币是A还是B（贝叶斯），将参测结果拆分到A与B，求出不同硬币头向上的概率（不断的迭代，收敛）

类似于梯度下降，可能会有局部最优（与初始值的选取有关）。

高斯混合模型中的EM算法：

先假设高斯的参数（

但由于高斯的分布特点，两侧的尾巴可以无限的延长，所以理论上空间中所有的点都可以被任意高斯生成，所以设定

当已知每个高斯的函数情况，就可以知道每个点由特定高斯生成出来的概率是多少，返回来对每一个样本进行加权，计算出每一个高斯的均值（加权求均值）。每一个高斯特有的一个α值，是由每一个点是特定高斯生成的概率加和平均。

知道了高斯参数，就可以去更新Z。

Density Based Methods：（基于密度，不用设计K）

与人眼的感觉较接近

DBSCAN：

核心点：以该点位中心，一定阈值为半径的范围内有足够多的点，那该点就成为核心点

边界点：在边缘的，自身不是核心点，但可以在附近找到一个核心点，在核心点的阈值圈内

噪点：二者皆不是

从未处理的点开始出发（膨胀算法），如果是核心点就开始收罗阈值内的点，判断点的身份；如果周围点不符合条件则为噪点。

Hierarchical Methods（层次型聚类）：

会产生不同聚类个数的一系列聚类结果

Agglomerative Methods：

每个点为一个单独的cluster，然后计算距离或关联系数矩阵，选择最近的聚为一类，再将这个类作为一个整体（有不同的整体距离计算标准：最小、最大、平均等），计算距离或关联系数矩阵，直至归为一个簇。

整体距离计算标准：最小 vs 最大

参考：