白化

[hide]

1介绍
22D 的例子
3ZCA白化
4正则化
5中英文对照
6中文译者

介绍

我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤，这个预处理过程称为白化（一些文献中也叫sphering）。举例来说，假设训练数据是图像，由于图像中相邻像素之间具有很强的相关性，所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性；更正式的说，我们希望通过白化过程使得学习算法的输入具有如下性质：(i)特征之间相关性较低；(ii)所有特征具有相同的方差。

2D 的例子

下面我们先用前文的2D例子描述白化的主要思想，然后分别介绍如何将白化与平滑和PCA相结合。

如何消除输入特征之间的相关性? 在前文计算时实际上已经消除了输入特征之间的相关性。得到的新特征的分布如下图所示：

这个数据的协方差矩阵如下：

(注: 严格地讲, 这部分许多关于“协方差”的陈述仅当数据均值为0时成立。下文的论述都隐式地假定这一条件成立。不过即使数据均值不为0，下文的说法仍然成立，所以你无需担心这个。)

协方差矩阵对角元素的值为和绝非偶然。并且非对角元素值为0; 因此, 和是不相关的, 满足我们对白化结果的第一个要求 (特征间相关性降低)。

为了使每个输入特征具有单位方差，我们可以直接使用作为缩放因子来缩放每个特征。具体地，我们定义白化后的数据如下：

绘制出，我们得到:

这些数据现在的协方差矩阵为单位矩阵。我们说，是数据经过PCA白化后的版本: 中不同的特征之间不相关并且具有单位方差。

白化与降维相结合。如果你想要得到经过白化后的数据，并且比初始输入维数更低,可以仅保留中前个成分。当我们把PCA白化和正则化结合起来时(在稍后讨论)，中最后的少量成分将总是接近于0，因而舍弃这些成分不会带来很大的问题。

ZCA白化

最后要说明的是，使数据的协方差矩阵变为单位矩阵的方式并不唯一。具体地，如果是任意正交矩阵，即满足 (说它正交不太严格，可以是旋转或反射矩阵), 那么仍然具有单位协方差。在ZCA白化中，令。我们定义ZCA白化的结果为：

绘制，得到:

可以证明，对所有可能的，这种旋转使得尽可能地接近原始输入数据。

当使用 ZCA白化时(不同于 PCA白化)，我们通常保留数据的全部个维度，不尝试去降低它的维数。

正则化

实践中需要实现PCA白化或ZCA白化时，有时一些特征值在数值上接近于0，这样在缩放步骤时我们除以将导致除以一个接近0的值；这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中，我们使用少量的正则化实现这个缩放过程，即在取平方根和倒数之前给特征值加上一个很小的常数：

当在区间上时, 一般取值为。

对图像来说, 这里加上，对输入图像也有一些平滑(或低通滤波)的作用。这样处理还能消除在图像的像素信息获取过程中产生的噪声，改善学习到的特征(细节超出了本文的范围)。

ZCA 白化是一种数据预处理方法，它将数据从映射到。事实证明这也是一种生物眼睛(视网膜)处理图像的粗糙模型。具体而言，当你的眼睛感知图像时，由于一幅图像中相邻的部分在亮度上十分相关，大多数临近的“像素”在眼中被感知为相近的值。因此，如果人眼需要分别传输每个像素值（通过视觉神经）到大脑中，会非常不划算。取而代之的是，视网膜进行一个与ZCA中相似的去相关操作 (这是由视网膜上的ON-型和OFF-型光感受器细胞将光信号转变为神经信号完成的)。由此得到对输入图像的更低冗余的表示，并将它传输到大脑。

中英文对照

白化 whitening

冗余 redundant

方差 variance

平滑 smoothing

降维 dimensionality reduction

正则化 regularization

反射矩阵 reflection matrix

去相关 decorrelation

from: http://ufldl.stanford.edu/wiki/index.php/%E7%99%BD%E5%8C%96

Stanford UFLDL教程白化相关推荐

Stanford UFLDL教程主成分分析（PCA）
Stanford UFLDL教程主成分分析 Contents [hide] 1 引言 2 实例和数学背景 3 旋转数据 4 数据降维 5 还原近似数据 6 选择主成分个数 7 对图像数据应用PCA算 ...
Stanford UFLDL教程实现主成分分析和白化
实现主成分分析和白化在这一节里,我们将总结PCA, PCA白化和ZCA白化算法,并描述如何使用高效的线性代数库来实现它们. 首先,我们需要确保数据的均值(近似)为零.对于自然图像,我们通过减去每个图 ...
Stanford UFLDL教程独立成分分析
独立成分分析 Contents [hide] 1概述 2标准正交ICA 3拓扑ICA 4中英文对照 5中文译者概述试着回想一下,在介绍稀疏编码算法中我们想为样本数据学习得到一个超完备基(over ...
Stanford UFLDL教程数据预处理
数据预处理 Contents [hide] 1概要 2数据归一化 2.1简单缩放 2.2逐样本均值消减 2.3特征标准化 3PCA/ZCA白化 3.1基于重构的模型 3.2基于正交化ICA的模型 4大 ...
Stanford UFLDL教程线性解码器
线性解码器 Contents [hide] 1稀疏自编码重述 2线性解码器 3中英文对照 4中文译者稀疏自编码重述稀疏自编码器包含3层神经元,分别是输入层,隐含层以及输出层.从前面(神经网络)自编 ...
Stanford UFLDL教程自我学习
自我学习 Contents [hide] 1综述 2特征学习 3数据预处理 4无监督特征学习的术语 5中英文对照 6中文译者综述如果已经有一个足够强大的机器学习算法,为了获得更好的性能,最靠谱的方 ...
Stanford UFLDL教程自编码算法与稀疏性
自编码算法与稀疏性目前为止,我们已经讨论了神经网络在有监督学习中的应用.在有监督学习中,训练样本是有类别标签的.现在假设我们只有一个没有带类别标签的训练样本集合 ,其中 .自编码神经网络是一种无监督 ...
Stanford UFLDL教程稀疏编码自编码表达
稀疏编码自编码表达 Contents [hide] 1稀疏编码 2拓扑稀疏编码 3稀疏编码实践 3.1将样本分批为"迷你块" 3.2良好的s初始值 3.3可运行算法 4中英文对照 ...
Stanford UFLDL教程稀疏编码
稀疏编码 Contents [hide] 1稀疏编码 2概率解释 [基于1996年Olshausen与Field的理论] 3学习算法 4中英文对照 5中文译者稀疏编码稀疏编码算法是一种无监督学习方 ...

Stanford UFLDL教程白化

白化

Contents

介绍

2D 的例子

ZCA白化

正则化

中英文对照

Stanford UFLDL教程白化相关推荐

最新文章

热门文章

Stanford UFLDL教程 白化

白化

Contents

介绍

2D 的例子

ZCA白化

正则化

中英文对照

Stanford UFLDL教程 白化相关推荐

最新文章

热门文章

Stanford UFLDL教程白化

Stanford UFLDL教程白化相关推荐