主成分分析PCA和经验正交函数分析EOF的原理（通俗易懂的解释）
转载自：http://blog.codinglabs.org/articles/pca-tutorial.html
图片自：https://blog.csdn.net/Murray_/article/details/79945148
说明：本文转载自大神之作，稍加自己的理解。图片即为大神之作的截图，重点已经标注出来。
目录
- PCA/EOF的区别与联系
- PCA/EOF的本质
- PCA/EOF的原理
PCA/EOF的区别与联系
本质上PCA和EOF没有什么不同，只是：
EOF为空间特征向量，也称为空间模态，在一定程度上反映了要素场的空间分布特点；
PC（主成分）对应时间变化，也称为时间系数，反映相应空间模态（EOF）随时间的权重变化。
简而言之，二者是利用经验正交分解过程中的两个重要元素。
在地学中，PCA和EOF通常用于信号提取，从繁杂的时空数据中分离出地理要素的时空变化特征，是进行地学信号分析的前提。
PCA/EOF的本质
其本质是降维，通过PCA/EOF，提取出信号的主要变化特征。
用通俗易懂的解释可以理解为：
1.已知二维坐标系下的一组离散数据：(X1,Y1)，(X2,Y2)，…，(Xn,Yn)
需要将其只用一组维数据表示为：Z1，Z2，…，Zn
2.为了区分这些点，本质上是找到二维平面中的一个向量，让各个点投影到该向量上时，各个点能最大程度的得到区分（即方差最大）。
3.为了实现这一过程，需要用到经验正交分解，求解特征向量。
特征向量的意义就是这条可以最大程度区分各个点的向量。
PCA/EOF的原理
文章分析脉络梳理：
1.向量A和B的内积表示的是向量A在B上的投影长度。那么将一个向量与新的基做内积，结果则表示该向量在新的基下的坐标。
2.将新选定的基表示成矩阵形式，与原向量相乘，就得到了原向量在新选定的基所表示的空间（或坐标系）中的坐标表示了。
3.怎样选定这组基用于数据降维？（目标）
（1）首先将数据变换到选定基上后，数据的方差要大，尽量分散。
（2）各个基要正交（表示的信息要不相关，若单纯按方差选定基，则选定的基存在很大的相关性）
4.怎么做?怎么找这组正交基？ （做法）
（1）协方差矩阵可以很好地表示各个特征的方差和不同特征之间的协方差
（2）按目标要求需要将协方差矩阵除去对角线元素化为0，对角线元素按从大到小排列。协方差矩阵对角化。
（3）对角化后按特征值大小排列，选定前k个最大的特征值对应的特征向量作为降维后的新基。
以下为转载的主要内容：
PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。
当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。
进一步讨论
根据上面对PCA的数学原理的解释，我们可以了解到一些PCA的能力和限制。PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。
因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性就没有办法了，对于存在高阶相关性的数据，可以考虑Kernel PCA，通过Kernel函数将非线性相关转为线性相关，关于这点就不展开讨论了。另外，PCA假设数据各主特征是分布在正交方向上，如果在非正交方向上存在几个方差较大的方向，PCA的效果就大打折扣了。
最后需要说明的是，PCA是一种无参数技术，也就是说面对同样的数据，如果不考虑清洗，谁来做结果都一样，没有主观参数的介入，所以PCA便于通用实现，但是本身无法个性化的优化。
希望这篇文章能帮助朋友们了解PCA的数学理论基础和实现原理，借此了解PCA的适用场景和限制，从而更好的使用这个算法。
主成分分析PCA和经验正交函数分析EOF的原理（通俗易懂的解释）相关推荐
- lda 吗 样本中心化 需要_机器学习 —— 基础整理（四）：特征提取之线性方法——主成分分析PCA、独立成分分析ICA、线性判别分析LDA...
本文简单整理了以下内容: (一)维数灾难 (二)特征提取--线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA (一)维数灾难(Curse of dimensiona ...
- 经验正交函数分析法（EOF）在matlab上的实现
转载自:https://blog.csdn.net/qq_23860475/article/details/80665289 数据准备 数据集为福建省28个气象站1960-2013年的年际降水量数据, ...
- matlab求矩阵距平矩阵,matlab经验正交函数EOF(转载)
A.7EOF分析 经验正交函数分析方法(empiricalorthogonalfunction,缩写为EOF),也称特征向量分析(eigenvectoranalysis),或者主成分分析(princi ...
- 经验正交函数分解matlab,matlab物理场的正交分解
经验正交分解的原理 简介 经验正交函数分析方法(empirical orthogonal function,缩写为EOF),也称特征向量分析(eigen vector analysis),或者主成分分 ...
- 【统计方法】经验正交函数详解
经验正交函数详解 1 经验正交函数(Empirical Orthogonal Function, EOF) 2 扩展经验正交函数(Empirical Orthogonal Function, CEOF ...
- 经验正交函数 (EOF) / 主成分 (PCA) 分解及Python实现
前言 EOF 经验正交函数 分解原理及用法: https://wenku.baidu.com/view/93bc8a9b680203d8ce2f2468.html 方法实现过程 EOF PCA Pyt ...
- 独立成分分析 ( ICA ) 与主成分分析 ( PCA ) 的区别
1.前言 参考资料:https://www.zhihu.com/question/28845451 书上写的是: 1. 主成分分析假设源信号间彼此非相关,独立成分分析假设源信号间彼此独立. 2. 主成 ...
- 【视频】主成分分析PCA降维方法和R语言分析葡萄酒可视化实例|数据分享
最近我们被客户要求撰写关于主成分分析PCA的研究报告,包括一些图形和统计输出.降维技术之一是主成分分析 (PCA) 算法,该算法将可能相关变量的一组观察值转换为一组线性不相关变量.在本文中,我们将讨论 ...
- PCA（主成分分析）获取BoundingBox代码分析
引言 最近要用到PCA获取目标点云的BoundingBox,但是网上给出的有关PCA的代码大都太简洁了,我觉得可能是大佬觉得比较简单,没有详细描述.这里记录一下自己的探究结果,方便大家理解.欢迎留言讨 ...
- 主成分分析(PCA)原理及R语言实现及分析实例
主成分分析(PCA)是一种数据降维技巧,它能将大量相关变量转化为一组很少的不相关变量,这些无关变量称为主成分.最近我们被客户要求撰写关于主成分分析(PCA)的研究报告,包括一些图形和统计输出.例如,使 ...
最新文章
- Nutch插件开发及发布流程
- 咖友：打个雷啊 | 今日头条VS腾讯新闻：让马化腾也坐不住的新闻资讯行业未来之争...
- Webpack核心概念解析
- Linux下的虚拟机拷贝与快照生成
- c++和java哪个难_为什么说C语言比Java难？
- 1.Getting Started
- 算法：从有序数组中移除重复的数据26. Remove Duplicates from Sorted Array
- 自动计数报警器c语言,计数报警器设计
- Metric模块源码解析
- Java 运算符(Operators)
- 完整版JavaWeb环境搭建-maven-servlet...与测试，欢迎大家一起学习
- JavaScript的RSA加密库(cryptico、Node-rsa、Crypto、jsrsasign、JSEncrypt)
- Datawhale组队学习周报（第048周）
- lr_用java_Vuser做性能测试
- Design Data-Intensive Applications 读书笔记三 查询语句
- 日拱一卒，热爱可抵岁月漫长
- 音视频：12.FFmpeg-音乐播放器1
- 基于SSM框架宠物管理系统
- Mysql学习-第二章（CBO工作原理）
- 干货 | 等级保护测评图鉴