谱聚类（Spectral clustering）（2）:NCut

作者：桂。

时间：2017-04-13 21:19:41

链接：http://www.cnblogs.com/xingshansi/p/6706400.html

声明：欢迎被转载，不过记得注明出处哦~

前言

本文为谱聚类的第二篇，主要梳理NCut算法，关于谱聚类的更多细节信息，可以参考之前的博文：

　　1）拉普拉斯矩阵（Laplace Matrix）与瑞利熵（Rayleigh quotient）

　　2）谱聚类之RatioCut算法

内容主要参考刘建平Pinard博客，更多细节可以参考该作者博文，本文最后给出代码实现，全文包括：

　　1）NCut原理

　　2）NCut算法实现

一、NCut原理

　　Ncut切图和RatioCut切图很类似，但是把Ratiocut的分母$|Ai|$换成$vol(A_i)$，由于子图样本的个数多并不一定权重就大，我们切图时基于权重也更合我们的目标，因此一般来说Ncut切图优于RatioCut切图。

$vol(A): = \sum\limits_{i \in A}d_i$

对应的，Ncut切图对指示向量h做了改进。注意到RatioCut切图的指示向量使用的是$\frac{1}{\sqrt{|A_j|}}$标示样本归属，而Ncut切图使用了子图权重$\frac{1}{\sqrt{vol(A_j)}}$来标示指示向量h，定义如下:

那么我们对于$h_i^TLh_i$有：

推导方式和RatioCut完全一致。也就是说，我们的优化目标仍然是

但是此时我们的$H^TH \neq I$而是$H^TDH = I$，推导如下：

也就是说，此时我们的优化目标最终为：

这个就是泛化瑞利熵的求解问题，之前文章分析过。这里再次给出细节分析。

令$H = D^{-1/2}F$，则优化目标转化为：

至此已经完成了NCut的理论。

画蛇添足一下吧，注意到：

事实上，连拉普拉斯矩阵都懒得构造了。

二、NCut算法实现

首先给出算法步骤：

步骤一：求解邻接矩阵W和度矩阵D

步骤二：对${D^{ - \frac{1}{2}}}W{D^{ - \frac{1}{2}}}$进行特征值分解，并取K个最大特征值对应的特征向量（K为类别数目）

步骤三：将求解的K个特征向量（并分别归一化），构成新的矩阵，对该矩阵进行Kmeans处理

Kmeans得到的类别标签，就是原数据的类别标签，至此完成NCut聚类。

给出代码实现：

sigma2 = 0.01;
%%Step1: Calculate  matrixs
for i = 1:Nfor j =1:NW(i,j) = exp(-sqrt(sum((X(i,:)-X(j,:)).^2))/2/sigma2);end
end
W = W-diag(diag(W));% adjacency matrix
D = diag(sum(W)); %degree matrix
%%Step2:Eigenvalues decomposition
K = 3;
[Q,V] = eigs(D^(-1/2)*W*D^(-1/2),K);
%%Step3:New matrix Q
Q = Q./repmat(sqrt(diag(Q'*Q)'),N,1);
[idx,ctrs] = kmeans(Q,K);

结果图：

测试一下，按数据为3类进行谱聚类，可以看出来还是有效的，谱聚类中高斯权重涉及到$\sigma$如何取值，不过这里就不做进一步讨论了。

参考：

http://www.cnblogs.com/pinard/p/6221564.html

转载于:https://www.cnblogs.com/xingshansi/p/6706400.html

谱聚类（Spectral clustering）（2）:NCut相关推荐

22 谱聚类 Spectral Clustering
1 Background 本章节主要是描述的一种聚类算法,谱聚类(Spectral Clustering).对机器学习有点了解的同学对聚类算法肯定是很熟悉的,那么谱聚类和之前普通的聚类算法有什么不一样 ...
谱聚类 Spectral Clustering
谱聚类 Spectral Clustering sklearn.cluster.SpectralClustering 谱聚类(Spectral Clustering, SC), 是一种基于图论的聚类方 ...
谱聚类(Spectral Clustering)详解
原文地址为: 谱聚类(Spectral Clustering)详解谱聚类(Spectral Clustering)详解谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方 ...
python谱聚类算法_谱聚类Spectral clustering(SC)
在之前的文章里,介绍了比较传统的K-Means聚类.Affinity Propagation(AP)聚类.比K-Means更快的Mini Batch K-Means聚类以及混合高斯模型Gaussian ...
谱聚类(spectral clustering)
谱聚类概述谱聚类是从图论中演化出来的算法,后来在聚类中得到了广泛的应用.它的主要思想是把所有的数据看做空间中的点,这些点之间可以用边连接起来.距离较远的两个点之间的边权重值较低,而距离较近的两个点之 ...
聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut .
聚类算法是ML中一个重要分支,一般采用unsupervised learning进行学习,本文根据常见聚类算法分类讲解K-Means, K-Medoids, GMM, Spectral cluster ...
聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut
聚类算法是ML中一个重要分支,一般采用unsupervised learning进行学习,本文根据常见聚类算法分类讲解K-Means, K-Medoids, GMM, Spectral cluster ...
聚类算法K-Means K-Medoids GMM Spectral clustering，Ncut
聚类算法是ML中一个重要分支,一般采用unsupervised learning进行学习,本文根据常见聚类算法分类讲解K-Means, K-Medoids, GMM, Spectral cluster ...
python谱聚类算法_谱聚类（spectral clustering）原理总结
谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱聚类对数据分布的适应性更强,聚类效果也很优秀,同时聚类的计算量也小很多,更加难能可贵的是实现起来也 ...
高斯核函数初始化邻接矩阵_转：谱聚类（spectral clustering）原理总结
转自:https://www.cnblogs.com/pinard/p/6221564.html 谱聚类(spectral clustering)是广泛使用的聚类算法,比起传统的K-Means算法,谱 ...

谱聚类（Spectral clustering）（2）:NCut

谱聚类（Spectral clustering）（2）:NCut相关推荐

最新文章

热门文章