什么叫Spectral Algorithm? 
广义上来说，任何在演算法中用到SVD/特征值分解的，都叫Spectral Algorithm。 从很老很老的PCA/LDA，到比较近的Spectral Embedding/Clustering，都属于这类。

为什么要用SVD/特征值分解?
其实并不是为用而用，而是不得不用。 目前在研究领域碰到的很多基础问题都是NP-hard的，找一个比较好的近似演算法要费很大的精力；就算找到多项式的近似方法，也会出现实际使用上仍然太慢/解陷入局部极小等问题。

比如说用K-means聚类，建模本身已经够简单了，但它是NP-hard的，用传统的EM迭代作近似解会陷入局部极小。

反之，SVD理论上只有唯一解，演算法速度相对又快，并且有大量理论结果及周边性质支持，可以算是一个很理想地能将NP-hard问题“靠”上去 的模型；它的另一个好处是，作为带约束二次规划的一种特殊情况，它对运算式为二次的目标函数的“相容性”比较好，“靠”所要求的数学技巧不高，任何人，任 何方向都能拿来试试。

Spectral Algorithm的几个方向:
传统的如PCA/LDA用来做线性降维，2000年左右的一些Spectral Embedding及Spectral Clustering，还有周边的一些，如Low-rank approximation等等。

为什么先做降维再做K-means，效果会更好呢？
另外，有趣的是K-means可以用PCA来做近似解。 K-means是说找到K个点，使得所有点到这K个点的距离平方和最小；
而SVD是说找到一个子空间，使得所有点到这个子空间的距离平方和最小。 于是这两者就建立了联系，K-means便relax到SVD上去了。

Spectral Clustering/Embedding:

Spectral Clustering可算是Spectral Algorithm的重头戏。
所谓Clustering，就是说聚 类，把一堆东西（合理地）分成两份或者K份。 从数学上来说，聚类的问题就相当于Graph Partition的问题，即给定一个图G = (V, E)，如何把它的顶点集划分为不相交的子集，使得这种划分最好。 其难点主要有两个：

1.这个“合理”其实相当难达到，随便设一个目标函数可能达不到希望的结果。 大家可以看了看[1] Ravi Kannan and Adrian Vetta, On clusterings: good, bad and spectral，这里详细地讨论了一下准则的选择问题。
2.即使我们定义了一个相当好的聚类准则，如何优化它又是一个问题。

对于1，在Spectral Clustering这一块，各家有各家的想法。 主要有以下几种：
a)大名鼎鼎的Normalized Cut[2]，还有一些变种如Ratio Cut/Minmax cut.
b)和代数图论紧密相联的Minimum conductance[1].
c)没有准则，但有证明的演算法[3]
d)不基于图，而是reformulate原来的聚类方法，使之变成SVD能解的问题[4]。
2则完全被1的选取所决定。

Normalized Cut:
在图上，定义什么样的聚类最好，最简单的方法是圈定K个不相交顶点集之后，希望顶点集之间的边，其权 值的和最小。 (边上的权值代表的是两头的顶点邻近的程度，或者说相似度）这就是所谓MinCut（最小割）问题。 二类分类的最小割不是NP-hard的，但是这不能让人感到开心，因为MinCut这个准则对于聚类不好。

具体来说，Mincut完全可能将离大部队过远的单个顶点与其他顶点分开,形成两类。
事实上，我们不仅仅要让割边的权和最小，而且要让这K个顶点集都差不多大，这样才符合聚类给人的直观感觉。

于是在MinCut的基础上，出现了Normalized Cut.思路很简单，将Cut normalize一下，除以表现顶点集大小的某种量度(如vol A =所有A中顶点集的度之和)。
也就是Normalize Cut(A, B) = Cut(A, B) / volA + cut(A, B) / volB
然而这样一改，NP-hard就来了。 这几乎是所有组合优化问题的恶梦。

怎么办呢？ 把组合优化问题连续化，即所谓减少约束，进行适当的relax。 那么为什么会和SVD扯上的呢？

很简单，聚类是东西分成不相交集，也就是有正交的含义在里面；只是分东西必须是0-1式的，这种离散化，就是np-hard的原因。 我们把正交约束保留，但把离散变成连续的，聚类就变成了寻找（列）正交阵的优化问题，那正是SVD的火力所在！

就这样，通过这种巧妙的relax，NP-hard问题有了近似解。 且不说这近似解的质量如何，这种方法是相当令人振奋的。 （关于Normalized Cut近似解的质量,似乎没有什么文章能够给出严格的证明，只是实际效果不错就是了。）

值得一提的是，Normalized Cut还和图上的Markov chain有紧密的关系[5]。 Normalized Cut这个量度，换成Markov chain的语言就是在图上随机游走，子集间相互“串门”的概率大小。 相当有趣。