层次聚类(Hierarchical clustering)

何时使用？

当我们希望进一步挖掘观测数据的潜在关系，可以使用层次聚类算法。

工作方式

首先我们会计算距离矩阵(distance matrix)，其中矩阵的元素(i，j)代表观测值 i 和 j 之间的距离度量。然后将最接近的两个观察值组为一对，并计算它们的平均值。通过将成对观察值合并成一个对象，我们生成一个新的距离矩阵。具体合并的过程即计算每一对最近观察值的均值，并填入新距离矩阵，直到所有观测值都已合并。

有效案例：

以下是关于鲸鱼或海豚物种分类的超简单数据集。作为受过专业教育的生物学家，我可以保证通常我们会使用更加详尽的数据集构建系统。现在我们可以看看这六个物种的典型体长。本案例中我们将使用 2 次重复步骤。

Species Initials Length(m)Bottlenose Dolphin BD 3.0Risso's Dolphin RD 3.6Pilot Whale PW 6.5Killer Whale KW 7.5Humpback Whale HW 15.0Fin Whale FW 20.0

步骤一：计算每个物种之间的距离矩阵，在本案例中使用的是欧氏距离(Euclidean distance)，即数据点(data point)间的距离。你可以像在道路地图上查看距离图一样计算出距离。我们可以通过查看相关行和列的交叉点值来查阅任一两物种间的长度差。

BD RD PW KW HWRD 0.6 PW 3.5 2.9 KW 4.5 3.9 1.0 HW 12.0 11.4 8.5 7.5 FW 17.0 16.4 13.5 12.5 5.0

步骤二：将两个距离最近的物种挑选出来，在本案例中是宽吻海豚和灰海豚，他们平均体长达到了 3.3m。重复第一步，并再一次计算距离矩阵，但这一次将宽吻海豚和灰海豚的数据使用其均值长度 3.3m 代替。

[BD, RD] PW KW HWPW 3.2 KW 4.2 1.0 HW 11.7 8.5 7.5 FW 16.7 13.5 12.5 5.0

接下来，使用新的距离矩阵重复步骤二。现在，最近的距离成了领航鲸与逆戟鲸，所以我们计算其平均长度(7.0m)，并合并成新的一项。

随后我们再重复步骤一，再一次计算距离矩阵，只不过现在将领航鲸与逆戟鲸合并成一项且设定长度为 7.0m。

[BD, RD] [PW, KW] HW[PW, KW] 3.7 HW 11.7 8.0 FW 16.7 13.0 5.0

我们再一次使用现在的距离矩阵重复步骤 2。最近的距离(3.7m)出现在两个已经合并的项，现在我们将这两项合并成为更大的一项(均值为 5.2m)。

[[BD, RD] , [PW, KW]] HWHW 9.8 FW 14.8 5.0

紧接着，我们再一次重复步骤 2，最小距离(5.0m)出现在座头鲸与长须鲸中，所以继续合并它们为一项，并计算均值(17.5m)。

返回到步骤 1，计算新的距离矩阵，其中座头鲸与长须鲸已经合并为一项。

[[BD, RD] , [PW, KW]][HW, FW] 12.3

最后，重复步骤 2，距离矩阵中只存在一个值(12.3m)，我们将所有的都合成为了一项，并且现在可以停止这一循环过程。先让我们看看最后的合并项。

[[[BD, RD],[PW, KW]],[HW, FW]]

现在其有一个嵌套结构(参考 JSON)，该嵌套结构能绘制成一个树状图。其和家族系谱图的读取方式相近。在树型图中，两个观察值越近，它们就越相似和密切相关。

通过树型图的结构，我们能更深入了解数据集的结构。在上面的案例中，我们看到了两个主要的分支，一个分支是 HW 和 FW，另一个是 BD、RD、PW、KW。

在生物进化学中，通常会使用包含更多物种和测量的大型数据集推断这些物种之间的分类学关系。在生物学之外，层次聚类也在机器学习和数据挖掘中使用。

重要的是，使用这种方法并不需要像 K-均值聚类那样设定分组的数量。你可以通过给定高度「切割」树型以返回分割成的集群。高度的选择可以通过几种方式进行，其取决于我们希望对数据进行聚类的分辨率。

例如上图，如果我们在高度等于 10 的地方画一条线，就将两个主分支切开分为两个子图。如果我们从高度等于 2 的地方分割，就会生成三个聚类。

更多细节：

对于这里给出的层次聚类算法(hierarchical clustering algorithms)，其有三个不同的方面。

最根本的方法就是我们所使用的集聚(agglomerative)过程，通过该过程，我们从单个数据点开始迭代，将数据点聚合到一起，直到成为一个大型的聚类。另外一种(更高计算量)的方法从巨型聚类开始，然后将数据分解为更小的聚类，直到独立数据点。

还有一些可以计算距离矩阵的方法，对于很多情况下，欧几里德距离(参考毕达哥拉斯定理)就已经够了，但还有一些可选方案在特殊的情境中更加适用。

最后，连接标准(linkage criterion)也可以改变。聚类根据它们不同的距离而连接，但是我们定义「近距离」的方式是很灵活的。在上面的案例中，我们通过测量每一聚类平均值(即形心(centroid))之间的距离，并与最近的聚类进行配对。但你也许会想用其他定义。

例如，每个聚类有几个离散点组成。我们可以将两个聚类间的距离定义为任意点间的最小(或最大)距离，就如下图所示。还有其他方法定义连接标准，它们可能适应于不同的情景。

红/蓝：形心连接；红/绿：最小连接；绿/蓝：最大连接