第十一章基于特征向量的变换

目录

1.    主分量分析（PCA）、K-L变换（Hotelling变换）

2.    奇异值分解（SVD）

3.    DCT与K-L变换的关系

　1. 主分量分析（PCA）、K-L变换（Hotelling变换）

   一般而言，这一方法的目的是寻找任意统计分布的数据集合之主要分量的子集。相应的基向量组满足正交性且由它定义的子空间最优地考虑了数据的相关性。将原始数据集合变换到主分量空间使单一数据样本的互相关性(cross-correlation)降低到最低点。

设是N维向量的数据集合，m是其均值向量：

有了特征向量集合，任何数据x可以投影到特征空间（以特征向量为基向量）中的表示：

相反地，任何数据x可以表示成如下的线性组合形式：

如果用A代表以特征向量为列向量构成的矩阵，则A^T定义了一个线性变换：

上述去相关的主分量分析方法可以用于降低数据的维数。通过略去对应于若干较小特征值的特征向量来给y降维。例如，丢弃底下N-M行得到的矩阵B，并为简单起见假定均值m=0，则有：

它只是被舍弃的特征向量所对应的特征值的和。通常，特征值幅度差别很大，忽略一些较小的值不会引起很大的误差。

上述方法是图象数据压缩的数学基础之一，通常被称为PrincipalComponent Analysis (PCA)或Karhunen-Loeve (K-L)变换。

K-L变换的核心过程是计算特征值和特征向量，有很多不同的数值计算方法。一种常采用的方法是根据如下的推导：

由于通常s<<N，这种方法将求高阶矩阵的特征向量转化为求较低阶矩阵的特征向量的过程在图象数据分析中是很实用的。

　K-L变换是图象分析与模式识别中的重要工具，用于特征抽取，降低特征数据的维数。例如，MIT-Media Lab基于特征脸的人脸识别方法。http://www-white.media.mit.edu/vismod/demos/facerec/

(以上图片来自于MIT-Media Lab Photobook/Eigenfaces Demo)

2. 奇异值分解（SVD）

奇异值分解（SingularValue Decomposition）是矩阵分析中正规矩阵酉对角化的推广。设矩阵A是的秩为r，它的奇异值是指n阶方阵A^HA（或m阶方阵AA^H）的正特征值的平方根 (A^H是A的共轭转置)。奇异值分解是指如下形式的分解：

对于图象数据而言，任意一个的矩阵A定义的奇异值变换为：

3. DCT与K-L变换的关系

马尔可夫（Markov）过程 一个静态随机序列称为一阶Markov序列，如果序列中每个元素的条件概率只依赖于它的前一个元素。一个的Markov序列的协方差矩阵具有以下形式：

其中，相邻两元素之间的相关系数：

这个协方差矩阵的特征值和特征向量（K-L变换正交矩阵的元素）为：

在ρ趋近1时有

与DCT变换相同。

对于自然景物，通常有。这时DCT的基向量可以很好地近似K-L变换的基向量。由于这个原因，在图象压缩算法中常被用来代替K-L变换，如JPEG算法。尽管DCT在降低谱的相关性方面不如K-L变换有效，但是其好处是它的基函数是固定的，而K-L变换的基函数取决于待变换图象的协方差矩阵。

其它参考文献：

1. Markus Grob, Visual Computing---The Integration of Computer Graphics, Visual Perception and Imaging, Springer-Verlag, 1994.
2. 余鄂西，矩阵论，高等教育出版社，1995。

作业

1. 推导K-L变换前后的协方差矩阵之间的关系：

1. 阅读有关人脸识别中的PCA方法资料。

返回主目录 返回本章目录

清华大学计算机系 艾海舟

最近修改时间：2001年7月18日

出处：http://media.cs.tsinghua.edu.cn/~ahz/digitalimageprocess/CourseImageProcess.html