谱聚类算法原理及实现

谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法。

将带权无向图划分为两个或两个以上的最优子图，使子图内部尽量相似，而子图间距离尽量距离较远，以达到常见的聚类的目的。

"带权无向图"这个词太学术了，我们换一种叫法，即：相似度矩阵。

假设我们有一个相似度矩阵，矩阵中存的是所有对象的两两相似度。

那么这个矩阵应该有如下性质：

矩阵为N * N，N为对象总数
矩阵对角线的值为0，自己和自己相似个毛啊
矩阵为对称矩阵，及相似度是无向的

我们将该矩阵记为：W。

谱聚类的任务就是根据这个相似度矩阵，将这一大堆对象，分成不同的小堆，小堆内部的对象彼此都很像，小堆之间则不像。

谱聚类本身也提供了好几种不同的分割(cut)方法，每种方法对应一种优化目标。

本文只介绍其中比较常见，也是比较实用，而且实现起来也比较经济的一种：Nomarlized cut.

说白了，就是你最应该掌握和使用的一种，好了，进入正题。

当你得到一个相似度矩阵W后，即可通过以下几个步骤，来得到对应的图分割方案：

1. 计算对角矩阵D[N*N]。，公式如下：

D矩阵为对角矩阵，对角线上的值为W矩阵中对应行或列的和。

2. 计算拉普拉斯矩阵(Laplacian) L：

3. 归一化L矩阵

4. 计算归一化后L矩阵的K个最小特征值及对应的特征向量

将K个特征向量竖着并排放在一起，形成一个N*K的特征矩阵，记为Q。

5. 对特征矩阵Q做kmeans聚类，得到一个N维向量C。

分别对应相似度矩阵W中每一行所代表的对象的所属类别，这也就是最终的聚类结果。

此外：

关于第3步中，对拉普拉斯矩阵归一化时，归一化公式进行变换得到：

令：

则在第4步中，我们可以将求L的K个最小特征值及其对应的特征向量的问题，转化为求矩阵E的K个最大的特征值及其对应的特征向量。

---可以证明：L的K个最小特征值对应的特征向量，分别对应于E的K个最大的特征值对应的特征向量。

且矩阵L的最小特征值为0，对应于矩阵E最大的特征值为1.矩阵L的第K小特征值等于1-矩阵E的第K大特征值

之所以要这么做，是因为在数值计算中，求矩阵的最大特征值，往往要比求最小特征值更方便和高效。

OK，至此，谱聚类就完成了，关于谱聚类的其他问题，诸如公式的推导，以及谱聚类的物理意义等，可参考博文：谱聚类算法。

谱聚类的实现很简单，按照上述5个步骤按部就班即可，在matlab中只需寥寥数行：

function C = SpectralClustering(W, k)[n,m] = size(W)  s = sum(W);D = full(sparse(1:n, 1:n, s));E = D^(-1/2)*W*D^(-1/2);[Q, V] = eigs(L, k);C = kmeans(Q, k);
end

谱聚类的完整C代码实现，可参考：https://code.csdn.net/u011531384/ml/tree/master/psc.c

谱聚类算法原理及实现相关推荐

干货 | 非常全面的谱聚类算法原理总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达谱聚类算法是目前最流行的聚类算法之一,其性能及适用场景优于传统的聚 ...
非常全面的谱聚类算法原理总结
谱聚类算法是目前最流行的聚类算法之一,其性能及适用场景优于传统的聚类算法如k-均值算法,本文对谱聚类算法进行了详细总结,内容主要参考论文<A Tutorial on Spectral Clust ...
小白入门谱聚类算法原理与实现
小白入门谱聚类算法原理与实现小白入门谱聚类算法原理与实现 1. 谱聚类是什么? 2.谱聚类步骤 2.1 谱聚类构图 2.2 谱聚类切图 2.2.1RatioCut 2.2.2Ncut 3谱聚类实现 ...
谱聚类算法原理（二）python实现
谱聚类算法是目前最流行的聚类算法之一,其性能及适用场景优于传统的聚类算法如k-均值算法,本文对谱聚类算法进行了详细总结,内容主要参考论文<A Tutorial on Spectral Clust ...
谱聚类算法原理（一）
谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱聚类对数据分布的适应性更强,聚类效果也很优秀,同时聚类的计算量也小很多,更加难能可贵的是实现起来也 ...
【机器学习】5：谱聚类算法原理介绍
前言:学习谱聚类,最好有一些图论.矩阵分解(SVD)方面的知识,这样会更加有利于谱聚类的学习.当然,谱聚类理解起来并不困难,实际操作也大多是谱聚类+K-means聚类联合使用的. –--------- ...
到底什么是谱聚类算法？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:视学算法谱聚类算法是目前最流行的聚类算法之一,其性能及 ...
谱聚类python代码_Python 谱聚类算法从零开始
谱聚类算法是一种常用的无监督机器学习算法,其性能优于其他聚类方法. 此外,谱聚类实现起来非常简单,并且可以通过标准线性代数方法有效地求解. 在谱聚类算法中,根据数据点之间的相似性而不是k-均值中的绝对 ...
python谱聚类算法_谱聚类（spectral clustering）原理总结
谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱聚类对数据分布的适应性更强,聚类效果也很优秀,同时聚类的计算量也小很多,更加难能可贵的是实现起来也 ...

谱聚类算法原理及实现

谱聚类算法原理及实现相关推荐

最新文章

热门文章