7.4.10 白化 whitening

回顾PCA，Y=UTAY = U^TAY=UTA 即对数据矩阵 AAA 进行旋转变换 UTU^TUT 得到主成分 YYY ，矩阵 YYY 的每列数据为每个学生新成绩向量。所以 PCA 算法本质上是对数据点云进行旋转变换，变换后数据矩阵的协方差矩阵为对角阵 Σ2\Sigma^2Σ2 ，即各个主成分无相关性。因为 AAT=UΣ2UTAA^T = U\Sigma^2 U^TAAT=UΣ2UT 即 UUU 是协方差矩阵 AATAA^TAAT 的特征向量组，Σ2\Sigma^2Σ2 是特征值对角阵。

变换后数据矩阵 YYY 线性无关，每个分量的方差为 σi2\sigma^2_iσi2 。我们还可以进一步变换 Z=Σ−1Y=Σ−1UTAZ=\Sigma^{-1}Y=\Sigma^{-1}U^TAZ=Σ−1Y=Σ−1UTA，使其每个分量的方差为 111 。
ZTZ=YTΣ−TΣ−1Y=YTΣ−TΣ−1Y=ATUΣ−TΣ−1UTA=(VΣTUT)UΣ−TΣ−1UT(UΣVT)=EZ^TZ = Y^T\Sigma^{-T}\Sigma^{-1}Y = Y^T\Sigma^{-T}\Sigma^{-1}Y \\ = A^TU\Sigma^{-T}\Sigma^{-1}U^TA \\ = (V\Sigma^TU^T) U\Sigma^{-T}\Sigma^{-1}U^T (U\Sigma V^T) \\ = E ZTZ=YTΣ−TΣ−1Y=YTΣ−TΣ−1Y=ATUΣ−TΣ−1UTA=(VΣTUT)UΣ−TΣ−1UT(UΣVT)=E

数据矩阵 ZZZ 的协方差矩阵为单位阵 EEE ，即每个分量均值为 000，方差为 111，每个分量从均值和方差角度看都是一样的，这时称其为白化数据矩阵。由于白化 Z=Σ−1YZ=\Sigma^{-1}YZ=Σ−1Y，需要除以奇异值，当奇异值趋近 000 时，白化分量会趋于无穷大，造成数值不稳定，而且奇异值趋近 000 的分量基本都是噪声引起的，故一般只对奇异值较大的主成分进行白化。

白化数据矩阵有个重要性质，即任意正交矩阵 QQQ ，变换数据矩阵 X=QZX=QZX=QZ ，有 XTX=ZTQTQZ=ZTEZ=EX^TX = Z^TQ^TQZ = Z^TEZ = EXTX=ZTQTQZ=ZTEZ=E ，数据矩阵 XXX 也是白化数据矩阵，即白化后的数据矩阵任意旋转操作后还是白化数据矩阵，在旋转操作下具有不变性。当正交矩阵取 UUU 时，此时 Z=UΣ−1UTA=WAZ = U\Sigma^{-1}U^TA = WAZ=UΣ−1UTA=WA 称为 ZCA 白化。白化变换矩阵 W=UΣ−1UTW=U\Sigma^{-1}U^TW=UΣ−1UT 有个重要性质
WWAAT=(UΣ−1UTUΣ−1UT)(UΣ2UT)=EWWAA^T = (U\Sigma^{-1}U^TU\Sigma^{-1}U^T)(U\Sigma^2 U^T) = E WWAAT=(UΣ−1UTUΣ−1UT)(UΣ2UT)=E

即 WWWWWW 是 AATAA^TAAT 的逆矩阵，WWW 是 AATAA^TAAT 的逆矩阵的平方根矩阵。

7.4.10 白化 whitening相关推荐

深度学习入门教程UFLDL学习实验笔记三：主成分分析PCA与白化whitening
深度学习入门教程UFLDL学习实验笔记三:主成分分析PCA与白化whitening 主成分分析与白化是在做深度学习训练时最常见的两种预处理的方法,主成分分析是一种我们用的很多的降维的一种手段,通 ...
白化(Whitening): PCA 与 ZCA (转)
转自:findbill 本文讨论白化(Whitening),以及白化与 PCA(Principal Component Analysis) 和 ZCA(Zero-phase Component Ana ...
【DeepCV】白化 whitening
Backto DeepCV 之前说过 PCA, PCA 构建新的特征(主成分),除去特征之间的相关性(正交).whitening 就是在 PCA 的基础上,再进一步,使得所有的特征都具有相同的方差(n ...
白化Whitening
白化操作的目的是让我们的减少冗余信息,准确来说通过白化操作我们有两个目的: 每个特征之间关联性更少每个特征有相同的方差对于第一个目的来说,我们可以通过熟悉的PCA来实现. PCA Principa ...
数据处理中白化Whitening的作用图解分析
之前在看斯坦福教程中whiteining这一章时,由于原始图像相邻像素值具有高度相关性,所以图像数据信息冗余,对于白化的作用的描述主要有两个方面:1,减少特征之间的相关性:2,特征具有相同的方差(协方 ...
数据预处理之白化（Whitening transformation）
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接: https://blog.csdn.net/hjimce/article/deta ...
实现主成分分析和白化
实现主成分分析和白化 From Ufldl Jump to: navigation, search 在这一节里,我们将总结PCA, PCA白化和ZCA白化算法,并描述如何使用高效的线性代数库来实 ...
Stanford UFLDL教程实现主成分分析和白化
实现主成分分析和白化在这一节里,我们将总结PCA, PCA白化和ZCA白化算法,并描述如何使用高效的线性代数库来实现它们. 首先,我们需要确保数据的均值(近似)为零.对于自然图像,我们通过减去每个图 ...
Stanford UFLDL教程白化
白化 Contents [hide] 1介绍 22D 的例子 3ZCA白化 4正则化 5中英文对照 6中文译者介绍我们已经了解了如何使用PCA降低数据维度.在一些算法中还需要一个与之相关的预处理步 ...

7.4.10 白化 whitening

7.4.10 白化 whitening

7.4.10 白化 whitening相关推荐

最新文章

热门文章