主成分分析(PCA Model, PM)

PCA是一种统计方法，广泛应用于工程和科学应用中，与傅里叶分析相比，尤其适用于质量监测。

设x∈Rm\boldsymbol{x} \in \mathfrak{R}^{m}x∈Rm表示mmm个传感器矢量的样本测量值。

假设每个传感器有NNN个样本，数据矩阵X=[x1x2⋯xN]T∈RN×m\mathbf{X}=\left[\begin{array}{llll} \boldsymbol{x}_{1} & \boldsymbol{x}_{2} & \cdots & \boldsymbol{x}_{N} \end{array}\right]^{T} \in \mathfrak{R}^{N \times m}X=[x1x2⋯xN]T∈RN×m，由代表样本xiTx^T_ixiT的每一行组成。

正常数据矩阵XXX的一个重要要求是，它应具有丰富的正常变化，以代表过程的共同原因变化。矩阵XXX被缩放为零均值，通常为PCA建模的单位方差。矩阵XXX通过奇异值分解（SVD）分解为得分矩阵TTT和加载矩阵PPP，
X=TPT+X~(1)\mathbf{X}=\mathbf{T P}^{T}+\tilde{\mathbf{X}}\tag{1}X=TPT+X~(1)

其中T=XPT=XPT=XP包含 lll 个左前导奇异向量和奇异值，P 包含lll个右前导奇异向量，X~\tilde{\mathbf{X}}X~ 是残差矩阵。因此，T 的列是正交的，P 的列是正交的。将样本协方差矩阵表示为
S=1N−1XTX(2)\mathbf{S}=\frac{1}{N-1} \mathbf{X}^{T} \mathbf{X}\tag{2}S=N−11XTX(2)

作为SVD的替代方法，可以对 S 进行特征分解，以获得 P 作为 S 的 lll 个前导特征向量，特征值表示为

Λ=diag⁡{λ1,λ2,…,λl}(3)\mathbf{\Lambda}=\operatorname{diag}\left\{\lambda_{1}, \lambda_{2}, \ldots, \lambda_{l}\right\}\tag{3}Λ=diag{λ1,λ2,…,λl}(3)
第 iii 个特征值可与得分矩阵 T 的第 iii 列相关，如下所示：
λi=1N−1tiTti≈var⁡{ti}(4)\lambda_{i}=\frac{1}{N-1} \mathbf{t}_{i}^{T} \mathbf{t}_{i} \approx \operatorname{var}\left\{\mathbf{t}_{i}\right\}\tag{4}λi=N−11tiTti≈var{ti}(4)

这是第iii个得分向量ti∈RN\mathbf{t}_{i} \in \mathfrak{R}^{N}ti∈RN的样本方差。主成分子空间（PCS）是Sp=span⁡{P}\mathcal{S}_{p}=\operatorname{span}\{\mathbf{P}\}Sp=span{P}，剩余子空间（RS）SrS_rSr是SpS_pSp的正交补。将测量空间划分为PCS和RS，使得RS仅包含微小的奇异值，这些奇异值对应于通常具有较小变化的子空间，或者主要是噪声的子空间。因此，残差类似于根据质量平衡和能量平衡建立的数学模型中的方程误差。

样本向量x∈Rm\mathbf{x} \in \mathfrak{R}^{m}x∈Rm可以分别投影到PCS和RS上，

x^=Pt=PPTx∈Sp(5)\hat{\boldsymbol{x}}=\mathbf{P} \boldsymbol{t}=\mathbf{P P}^{T} \boldsymbol{x} \in \mathcal{S}_{p}\tag{5}x^=Pt=PPTx∈Sp(5)

其中，

t=PTx∈Rl(6)\boldsymbol{t}=\mathbf{P}^{T} \boldsymbol{x} \in \mathfrak{R}^{l}\tag{6}t=PTx∈Rl(6)

为 lll 个潜在变量得分的向量。

残差向量：

x~=x−x^=(I−PPT)x∈Sr(7)\tilde{\boldsymbol{x}}=\boldsymbol{x}-\hat{\boldsymbol{x}}=\left(\mathbf{I}-\mathbf{P P}^{T}\right) \boldsymbol{x} \in \mathcal{S}_{r}\tag{7}x~=x−x^=(I−PPT)x∈Sr(7)

因为 SpS_pSp 和 SrS_rSr 是正交的，

x^Tx~=0(8)\hat{\boldsymbol{x}}^{T} \tilde{\boldsymbol{x}}=0\tag{8}x^Tx~=0(8)

且

x=x^+x~(9)\boldsymbol{x}=\hat{\boldsymbol{x}}+\tilde{\boldsymbol{x}}\tag{9}x=x^+x~(9)

其中，一个重要的概念是，数据的PCA模型，x^\hat{\boldsymbol{x}}x^由潜变量 t∈Rm\mathbf{t} \in \mathfrak{R}^{m}t∈Rm 参数化。

动态主成分分析(Dynamic PCA Models, DPM）

同样的PCA分解可以扩展到表示时间相关的动态过程数据，通过传递函数矩阵提取与测量向量相关的潜在变量。在潜变量建模中，测量变量不分为输入变量和输出变量。

相反，所有变量都与许多潜在变量相关，以表示它们的相关性。

设zkz_kzk时间kkk时所有的变量的集合。

扩展变量向量可以定义为

xkT=[zkTzk−1T⋯zk−dT](9)\boldsymbol{x}_{k}^{T}=\left[\boldsymbol{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \boldsymbol{z}_{k-d}^{T}\right]\tag{9}xkT=[zkTzk−1T⋯zk−dT](9)

PCA潜在变量得分可根据（5）计算，如下所示：
tk=PT[zkTzk−1T⋯zk−dT]T(10)\mathbf{t}_{k}=\mathbf{P}^{T}\left[\mathbf{z}_{k}^{T} \mathbf{z}_{k-1}^{T} \cdots \mathbf{z}_{k-d}^{T}\right]^{T}\tag{10}tk=PT[zkTzk−1T⋯zk−dT]T(10)

根据（10）将PPP划分为d+1d+1d+1块

PT=[P0TP1T⋯PdT](11)\mathbf{P}^{T}=\left[\begin{array}{llll} \mathbf{P}_{0}^{T} & \mathbf{P}_{1}^{T} & \cdots & \mathbf{P}_{\mathrm{d}}^{T} \end{array}\right]\tag{11}PT=[P0TP1T⋯PdT](11)

由（10）可以用传递矩阵的形式表示，
tk=∑i=0dPiTzk−i≡A(q−1)zk(12)\boldsymbol{t}_{k}=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{z}_{k-i} \equiv A\left(q^{-1}\right) \boldsymbol{z}_{k}\tag{12}tk=i=0∑dPiTzk−i≡A(q−1)zk(12)

其中，A(q−1)=∑i=0dPiTq−iA\left(q^{-1}\right)=\sum_{i=0}^{d} \mathbf{P}_{i}^{T} \boldsymbol{q}^{-i}A(q−1)=∑i=0dPiTq−i是矩阵多项式，q−i\boldsymbol{q}^{-i}q−i是后移算子。等式（12）表明，潜在变量是过去数据的线性组合，其降序方差最大。这个概念类似于卡尔曼滤波器状态向量。投影（4）包含测量的滤波或平滑估计。

在闭环控制系统的情况下，过程输入和输出变量通常对一些主要的过程扰动作出响应。主要扰动起潜变量的作用。因此，潜在变量模型可以在向量zkz_kzk中包括过程输入和输出。

❤坚持读Paper，坚持做笔记❤！！！
To Be No.1

哈哈哈哈

创作不易，过路能❤关注、收藏、点个赞❤三连就最好不过了

ღ( ´･ᴗ･` )

『
她有心，她的心在我这里
』

主成分分析(PCA)及动态主成分分析(Dynamic PCA)模型原理分析相关推荐

Holt-Winters模型原理分析
Holt-Winters模型原理分析及代码实现(python) from:https://blog.csdn.net/u010665216/article/details/78051192 引言最近 ...
Holt-Winters模型原理分析及代码实现（python)
引言最近实验室老师让我去预测景区内代步车辆的投放量,于是乎,本着"一心一意地输出年富力强的劳动力"这份初心,我就屁颠屁颠地去找资料,然后发现了Holt-Winters模型 , 感 ...
【Java】静态代理和动态代理简单实现和原理分析
静态代理 1.定义抽象接口首先将业务功能抽象出来,比如购买机票,所有的航空公司都提供一个购买的渠道,那么将这个购买行为抽象作为一个接口AirLine public interface AirLine ...
动态人脸识别的简要原理分析
前言:今天在电脑压箱底的位置竟然找到了当年大学毕业的毕业设计,当时做的是一个安全检测系统,其中有一个模块是人脸识别,从中摘出来三张图片和大家分享,时间已久,下面全是即兴书写,如有bug,敬请百度,谢谢 ...
JDK动态代理的底层实现原理
JavaEE的开发中,许多框架用到了动态代理机制,例如Spring的AOP编程. 这里不介绍动态代理和静态代理概念,有兴趣的朋友自行百度. Java中的动态代理一般就两种:1. JDK自带 : 2. ...
主成分分析（Principle Component Analysis）PCA的核心思想是什么？PCA算法的优缺点？增量PCA模型, 随机PCA, 模型、核化PCA分别是什么？使用时如何选择？
主成分分析(Principle Component Analysis)PCA的核心思想是什么?增量PCA模型, 随机PCA, 模型. 核化PCA分别是什么?使用时如何选择? 主成分分析(Princip ...
pca 主成分分析_超越普通PCA：非线性主成分分析
pca 主成分分析 TL;DR: PCA cannot handle categorical variables because it makes linear assumptions about t ...
学习，使用主成分分析（Principal components analysis，PCA）处理数据必看文章
强烈推荐如下高质量博文: https://blog.csdn.net/watkinsong/article/details/8234766#commentsedit 我的pca迷惑迷惑一刚开始接触 ...
R语言主成分分析（Principle Component Analysis、PCA）
R语言主成分分析(Principle Component Analysis.PCA) 利用正交变换把可能线性相关变量表示的观测数据,转换为由少数几个线性无关变量(主成分)表示的数据.(重构原始特征空间 ...
pca主成分分析结果解释_主成分分析(PCA)原理精讲 | 统计学专题
引言:当数据维度较高时,我们很难通过普通的方法做图,更不能分析样本间的关系.故我们接下来学习降维度.可视化的主成分分析(Principal Component Analysis,PCA). 1.何时使 ...

主成分分析(PCA)及动态主成分分析(Dynamic PCA)模型原理分析

主成分分析(PCA Model, PM)

动态主成分分析(Dynamic PCA Models, DPM）

主成分分析(PCA)及动态主成分分析(Dynamic PCA)模型原理分析相关推荐

最新文章

热门文章