不知道怎么回事，博客误删了。不想再写了，列下提纲。

PCA

sigma=(x*x')/size(x,2);
[u,s,v]=svd(sigma);
xRot = zeros(size(x)); % You need to compute this
xRot=u'*x;
%以下降维
xHat = zeros(size(x)); % You need to compute this
uk=u(:,1:k);
xHat=uk*(uk'*x);

PCA白化

xPCAWhite=diag(1./(sqrt(diag(s)+epsilon)))*xRot;

ZCA白化

xZCAWhite=u*xPCAWhite;

总结

注意PCA之前的预处理
(1)特征的均值大致为0；(2)不同特征的方差值彼此相似。对于自然图片，即使不进行方差归一化操作，条件(2)也自然满足，故而我们不再进行任何方差归一化操作（对音频数据,如声谱,或文本数据,如词袋向量，我们通常也不进行方差归一化）
特征值lambda j 和xRot的关系

深度学习笔记二:PAC,PAC白化，ZCA白化相关推荐

深度学习笔记：优化方法总结(BGD,SGD,Momentum,AdaGrad,RMSProp,Adam)
深度学习笔记(一):logistic分类深度学习笔记(二):简单神经网络,后向传播算法及实现深度学习笔记(三):激活函数和损失函数深度学习笔记:优化方法总结深度学习笔记(四):循环神经 ...
深度学习笔记（17）误差分析（二）
深度学习笔记(17) 误差分析(二) 1. 使用来自不同分布的数据进行误差分析 2. 数据分布不匹配时的偏差与方差 3. 处理数据不匹配问题 1. 使用来自不同分布的数据进行误差分析越来越多的团队都 ...
深度学习笔记（10）优化算法（二）
深度学习笔记(10) 优化算法(二) 1. Adam 优化算法 2. 学习率衰减 3. 局部最优的问题 1. Adam 优化算法 Adam代表的是 Adaptive Moment Estimation ...
深度学习笔记（7）实践层面（二）
深度学习笔记(7) 实践层面(二) 1. 正则化 2. dropout 正则化 3. 其他正则化方法 1. 正则化深度学习可能存在过拟合问题--高方差,在确定模型之后有两个解决方法正则化准备更多 ...
深度强化学习笔记(二)——Q-learning学习与二维寻路demo实现
深度强化学习笔记(二)--Q-learning学习与二维寻路demo实现文章目录深度强化学习笔记(二)--Q-learning学习与二维寻路demo实现前言理论什么是Q-Learning 算 ...
神经网络与深度学习笔记汇总二
神经网络与深度学习笔记汇总二正交化(方便调整参数) 迭代单实数评估指标(判断几种手段/方法哪个更好) 指标选取训练集.开发集.测试集作用与用途评估指标判断算法是好是坏迁移学习总结往期回 ...
深度学习笔记（二）图像分类实践
深度学习笔记(二)图像分类实践使用keras中的ResNet模型进行图像处理记忆预测 import keras #import tensorflow from keras.applications. ...
深度学习笔记（45）人脸验证与二分类
深度学习笔记(45) 人脸验证与二分类 1. 二分类问题 2. 逻辑回归单元的处理 3. 计算技巧 1. 二分类问题深度学习笔记(44) Triplet 损失的Triplet loss是一个学习人 ...
一文让你完全弄懂逻辑回归和分类问题实战《繁凡的深度学习笔记》第 3 章分类问题与信息论基础（上）（DL笔记整理系列）
好吧,只好拆分为上下两篇发布了>_< 终于肝出来了,今天就是除夕夜了,祝大家新快乐!^q^ <繁凡的深度学习笔记>第 3 章分类问题与信息论基础 (上)(逻辑回归.Softm ...

深度学习笔记二:PAC,PAC白化，ZCA白化

PCA

PCA白化

ZCA白化

总结

深度学习笔记二:PAC,PAC白化，ZCA白化相关推荐

最新文章

热门文章