1 聚类任务

在无监督学习中，获取的数据集是没有label信息的，无监督学习的目的是对无label的数据集进行学习以揭示数据内部的性质及规律，为进一步的数据分析提供基础。

聚类是最常见的无监督学习任务。

聚类的目的是试图将数据集中的样本分成若干个不相交的子集，每一个子集称为一个簇，每个簇对应一个潜在的概念，如“浅色瓜”“无籽瓜”等。但是要注意的是，每个簇的概念是由使用者来定义的，聚类算法只是将具有形似性质的样本聚类成簇，而不同簇表示的含义对聚类算法而言是未知的。

形式化的定义聚类过程，就是对于无标记的数据集D={x1​,x2​,⋯,xm​},xi​∈Rn，经过聚类之后形成k个不相交的簇{Cl​∣l=1,2,⋯,k}，其中⋃i=1k​Ci​=D,Cl​⋂Cl′​=∅(l̸​=l′)。

聚类可以作为单独的应用，用于发掘数据的内在结构。也可以用作其他应用的前驱过程，例如在一些商业应用中，往往先对用户类型聚类成簇之后，再对新用户的类型进行判别。

2 聚类度量

聚类度量是表述聚类结果好坏的标准。

对聚类结果，总体而言，是希望属于同一簇的样本尽可能相似，属于不同簇的样本差距尽可能大，也就是希望达到“簇内相似度高”、“簇间相似度低”的效果。

聚类度量可以分为两类，一类是有外部参考结果的外部指标；另一类是无外部参考结果的内部指标。

2.1 外部指标

数据集D={x1​,x2​,⋯,xm​}，通过聚类给出簇划分C={C1​,C2​,⋯,Ck​}，外部参考模型给出的簇划分结果为C∗={C1∗​,C2∗​,⋯,Cs∗​}，令λ和λ∗分别表示C与C∗对应的簇标记向量。将样本两两配对，定义：

a=∣SS∣,SS={(xi​,xj​)∣λi​=λj​,λi∗​=λj∗​,i

a表示的是聚类算法判别为同一类且参考模型也判别为同一类的样本对数；b表示的是聚类算法判别为同一类但参考模型也判别为不同类的样本对数；c表示的是聚类算法判别为不同类但参考模型也判别为同一类的样本对数；d表示的是聚类算法判别为不同类且参考模型也判别为不同类的样本对数。由于每一个样本对只能出现在abcd某一个之中，因此有a+b+c+d=m(m-1)/2。

常见的聚类性能度量外部指标有：

Jaccard系数：

JC=a+b+ca​

FM指数：

FMI=a+ba​a+ca​​

Rand指数：

RI=m(m−1)2(a+d)​

上述三个指标取值范围都是[0,1]，值越大越好。

2.2 内部指标

考虑聚类结果的簇划分C={C1​,C2​,⋯,Ck​}，定义

avg(C)=∣C∣(∣C∣−1)2​1≤i

dist()用于计算两个样本之间的距离；u表示聚类簇C的中心点位置。上述定义中，avg©表示某一聚类簇内部样本点距离的均值；diam©表示聚类簇C中样本间的最大距离；dmin​(Ci​,Cj​)表示聚类簇Ci​与Cj​间的最小样本距离；dcen​(Ci​,Cj​)对应于簇Ci​与Cj​中心点之间的距离。

常用的聚类性能度量内部指标有：

DB指数：

DBI=k1​i=1∑k​maxj̸​=i​(dcen​(ui​,uj​)avg(Ci​)+avg(Cj​)​)

Dumn指数：

DI=min1≤i≤k​{minj̸​=i​(max1≤l≤k​diam(Cl​)dmin​(Ci​,Cj​)​)}

DBI的值越大越好，DI的值越小越好。

3 距离计算

对于函数dist(,)，若其为一个“距离度量”，则需满足一些基本性质：

非负性：dist(xi​,xj​)≥0；

同一性：dist(xi​,xj​)=0当前仅当xi​=xj​；

对称性：dist(xi​,xj​)=dist(xj​,xi​)；

直递性：dist(xi​,xj​)≤dist(xi​,xk​)+dist(xk​,xj​)(三角不等式)

给定样本xi​=(xi1​,xi2​,⋯,xin​)和xj​=(xj1​,xj2​,⋯,xjn​)，最常用的是“闵可夫斯基距离”。

distmk​(xi​,xj​)=(u=1∑n​(xiu​−xju​)p)p1​

当P=1时，称之为“曼哈顿距离”，也叫“街区距离”；当P=2时，即为“欧氏距离”。

属性可以分为“连续属性”和“无序属性”，例如{1,2,3}中不同的元素之间可以直接计算距离，称之为连续属性；而{飞机、轮船、汽车}无法直接计算距离，称之为“无序属性”。

闵可夫斯基距离同样可用于无序属性。

对无序属性可采用VDM(Value Difference Metric)。令mu,a​表示在属性u上取值为a的样本数，mu,a,i​表示在第i个样本簇中在属性u上取值为a的样本数，k为样本簇数，则属性u上两个离散值a与b之间的VDM距离为：

VDMp​(a,b)=i=1∑k​∣mu,a​mu,a,i​​−mu,b​mu,b,i​​∣

将闵可夫斯基距离与VDM结合可用来处理混合属性，假定有nc​个有序属性、n−nc​个无序属性，不失一般性，假设有序属性排列在无序属性之前，则

MinkovDMp​(xi​,xj​)=(u=1∑nc​​∣xiu​−xju​∣p+u=nc​+1∑n​VDMp​(xiu​,xju​))p1​

当样本空间中不同属性的重要性不同时，还可使用加权距离，以闵可夫斯基距离为例：

distwmk​(xi​,xj​)=(w1​∣xi1​−xj1​∣p+⋯+wn​∣xin​−xjn​∣p)p1​

wi​≥0and∑i=1n​wi​=1.

一般情况下，我们基于距离度量来定义相似度，距离越大，相似度越小。

4 聚类算法

4.1 原型聚类

原型聚类假设聚类结构能够通过一组原型刻画，算法通常先对原型进行初始化，然后对原型进行迭代更新求解。

常见的原型聚类有k均值算法、学习向量量化和高斯混合聚类等。

4.1.1 k均值算法

给定样本集D={x1​,x2​,⋯,xm​}，k均值算法针对聚类所得簇划分C={C1​,C2​,⋯,Ck​}最小化平方误差

E=i=1∑k​x∈Ci​∑​∣∣x−ui​∣∣2

ui​=∣Ci​∣1​∑x∈Ci​​x是簇Ci​的均值向量。

直观来看，k均值算法在一定程度上刻画了簇内样本围绕簇均值向量的紧密程度，E值越小则簇内样本相似度越高。

最小化上式并不容易，需要考察样本集D所有可能的簇划分，是一个NP难的问题。k均值算法采用贪心策略，通过迭代优化来近似求解式子。

k均值算法的流程如下所示：

为了避免运行时间过长，通常会设置一个最大迭代次数或最小调整幅度阈值，若达到最大迭代次数或者调整幅度小于设定的阈值则停止迭代，完成聚类。

k均值算法无法自适应的决定应该划分的簇数，需要预先设定k值，一般是基于不同的k值多次运行聚类算法之后选取最佳结果；另外，初始聚类中心点的选择对聚类结果也存在一定的影响，可以通过多次运行k均值算法选取最好的聚类结果；k均值算法需要不断的进行样本与中心点的距离计算及不断的更新中心点位置，在数据集规模较大时，k均值算法的计算量较大。

4.1.2 学习向量量化

学习向量量化(Learning Vector Quantization,LVQ)也是试图找到一组原型向量来刻画聚类结构。但与一般聚类算法不同的是，LVQ假设数据样本带有类别标记，学习过程利用样本的