矩阵理论| 特殊矩阵：幂等矩阵、投影、正交投影
投影矩阵 /幂等矩阵
投影矩阵 /幂等矩阵 （idempotent matrix）P\mathbf PP满足P2=PP^2=PP2=P，也即P(I−P)=0P(I-P)=0P(I−P)=0
- 幂等矩阵 PPP 的几何意义：将向量 x\mathbf{x}x 投影至 PPP 的列空间 C(P)C(P)C(P)内
而P2=PP^2=PP2=P的意义就是“投影两次等效于投影一次” - 投影也分为两类：斜投影(oblique projection) 和 正交投影（额外满足PH=PP^H=PPH=P）
下面先介绍一般投影的特点，然后再介绍正交投影
投影矩阵 /幂等矩阵 的性质
关于特征值和行列式：
- 特征值必为λ=0或1\lambda=0 或 1λ=0或1（证明：P2x=PxP^2\mathbf{x}=P\mathbf{x}P2x=Px，则λ2x=λx\lambda^2\mathbf{x}=\lambda\mathbf{x}λ2x=λx，λ2=λ\lambda^2=\lambdaλ2=λ）
①其中，λ=1\lambda=1λ=1 的特征子空间为C(P)C(P)C(P)， λ=0\lambda=0λ=0 的特征子空间为N(P)N(P)N(P)
② detP=0或1\det P=0 或 1detP=0或1 - 推论：投影矩阵PPP必然可以相似对角化为diag(1,…,1,0,…,0)\mathrm{diag}(1,\ldots,1,0,\ldots,0)diag(1,…,1,0,…,0)
证明：
因为λ=1\lambda=1λ=1 的特征子空间为C(P)C(P)C(P)， λ=0\lambda=0λ=0 的特征子空间为N(P)N(P)N(P)，而Cn=C(P)⊕N(P)\mathbb C^n=C(P)\oplus N(P)Cn=C(P)⊕N(P)（后面证明），有充足的无关特征向量，代数重数=几何重数，投影矩阵PPP**必然可以相似对角化
- rank(P)=trace(P)\mathrm{rank}(P)=\mathrm{trace}(P)rank(P)=trace(P)
证明：trace(P)=λ1+...+λn=特征值1的个数\mathrm{trace}(P)=\lambda_1+...+\lambda_n=特征值1的个数trace(P)=λ1+...+λn=特征值1的个数
另外，投影矩阵的重要意义是，投影隐含了两个投影矩阵、隐含了空间的直和分解
- (I−P)(I-P)(I−P)也是幂等矩阵，几何意义是将向量正交投影至C(I−P)C(I-P)C(I−P)
并且 C(I−P)C(I-P)C(I−P)与C(P)C(P)C(P)互为直和补：Cn=C(P)⊕C(I−P)\mathbb C^n=C(P)\oplus C(I-P)Cn=C(P)⊕C(I−P)
如图，任意向量可拆分为投影部分C(P)C(P)C(P)和投影的“轨迹”部分C(I−P)C(I-P)C(I−P)：x=Px+(I−P)x\mathbf{x}=P\mathbf{x}+(I-P)\mathbf{x}x=Px+(I−P)x
- N(P)=C(I−P)N(P)=C(I-P)N(P)=C(I−P)， 同理有N(I−P)=C(P)N(I-P)=C(P)N(I−P)=C(P)
推论：P(I−P)=0P(I-P)=0P(I−P)=0、(I−P)P=0(I-P)P=0(I−P)P=0
证明：
①若 x∈N(P)\mathbf{x}\in N(P)x∈N(P)，Px=0P\mathbf{x}=\mathbf{0}Px=0，故 (I−P)x=x−Px=x(I-P)\mathbf{x}=\mathbf{x}-P\mathbf{x}=\mathbf{x}(I−P)x=x−Px=x，亦即 x∈C(I−P)\mathbf{x}\in C(I-P)x∈C(I−P)
②若x∈C(I−P)\mathbf{x}\in C(I-P)x∈C(I−P)，x=(I−P)y\mathbf{x}=(I-P)\mathbf{y}x=(I−P)y，故 Px=P(I−P)y=0y=0P\mathbf{x}=P(I-P)\mathbf{y}=0\mathbf{y}=\mathbf{0}Px=P(I−P)y=0y=0，即 x∈N(P)\mathbf{x}\in N(P)x∈N(P)
- 推论：每个投影矩阵，唯一对应空间的一个直和分解：Cn=C(P)⊕N(P)\mathbb C^n=C(P)\oplus N(P)Cn=C(P)⊕N(P)
证明：Cn=C(P)⊕C(I−P)\mathbb C^n=C(P)\oplus C(I-P)Cn=C(P)⊕C(I−P)，带入 C(I−P)=N(P)C(I-P)=N(P)C(I−P)=N(P)即可
正交投影矩阵
在此幂等矩阵P2=PP^2=PP2=P的基础上，PPP为正交投影矩阵的充要条件是：
- P2=P=PHP^2=P=P^HP2=P=PH
为何正交投影要求PH=PP^H=PPH=P？
理解：“垂直投影”即PH(I−P)x=0P^H(I-P)\mathbf{x}=0PH(I−P)x=0，
这要求PH=PHPP^H=P^HPPH=PHP，又因为(PHP)H=PHP(P^HP)^H=P^HP(PHP)H=PHP，则PH=PP^H=PPH=P
- P=PHPP=P^H PP=PHP
这是P2=P=PHP^2=P=P^HP2=P=PH的等价描述
证明：
若 P2=P=PHP^2=P=P^HP2=P=PH，则 PHP=PP=PP^H P=PP=PPHP=PP=P;
若 P=PHPP=P^H PP=PHP，则 PH=PHP=PP^H=P^H P=PPH=PHP=P，且 P=PHP=PPP=P^H P=PPP=PHP=PP。
- 正交投影矩阵PPP的几何意义：“垂直”的投影，i.e. 投影“轨迹”x−Px=(I−P)x\mathbf{x}-P\mathbf{x}=(I-P)\mathbf{x}x−Px=(I−P)x必然垂直于C(P)C(P)C(P)
正交投影矩阵的性质与一般的投影矩阵相同，主要有以下不同：
- 正交投影矩阵必为 Hermite矩阵、必为 正规矩阵（PH=PP^H=PPH=P，PHP=PPHP^HP=PP^HPHP=PPH）
因此，正交投影矩阵必必有一套正交的特征向量（可酉对角化）、必有实特征值（0和1）、满足Ax=λx⇒AHx=λˉxA\mathbf x=\lambda\mathbf x\Rightarrow A^H\mathbf x=\bar\lambda\mathbf xAx=λx⇒AHx=λˉx、奇异值σ1,...,σn=∣λ1∣,…,∣λn∣\sigma_1,...,\sigma_n=\vert\lambda_1\vert,\ldots,\vert\lambda_n\vertσ1,...,σn=∣λ1∣,…,∣λn∣（特征值的绝对值） - 正交投影矩阵至少为半正定矩阵
原因：正交投影矩阵满足PH=PP^H=PPH=P，且特征值为0和1（特征值≥0\ge 0≥0），故为半正定矩阵 - [将空间分解为Cn=X⊕X⊥\mathbb{C}^n=\mathcal{X}\oplus\mathcal{X}^{\perp}Cn=X⊕X⊥] 唯一对应一个 [正交投影矩阵]，反之亦然
向C(P)C(P)C(P)做投影，斜投影矩阵有无数个，正交投影矩阵则只有一个（X\mathcal{X}X唯一确定其正交补X⊥\mathcal{X}^{\perp}X⊥）
①对于斜投影矩阵PPP，空间被分为Cn=C(P)⊕N(P)\mathbb C^n=C(P)\oplus N(P)Cn=C(P)⊕N(P)，我们说矩阵 PPP 将向量 v\mathbf{v}v 沿着 N(P)N(P)N(P) 投影至 C(P)C(P)C(P)（N(P)N(P)N(P)与C(P)C(P)C(P)不一定正交）
②对于正交投影矩阵PPP，空间被分为Cn=C(P)⊕N(P)\mathbb C^n=C(P)\oplus N(P)Cn=C(P)⊕N(P)（其中N(P)=C(P)⊥N(P)=C(P)^{\perp}N(P)=C(P)⊥ ），我们可以直接说矩阵 PPP 将向量 v\mathbf{v}v （沿着 N(P)=C(P)⊥N(P)=C(P)^{\perp}N(P)=C(P)⊥ ）投影至 C(P)C(P)C(P)
- 正交投影中实际上隐含了两个正交投影矩阵，也将空间分解为两个正交补
①PPP将向量正交投影至C(P)C(P)C(P)；(I−P)(I-P)(I−P)将向量正交投影至C(I−P)C(I-P)C(I−P)；
②Cn=C(P)⊕C(I−P)\mathbb C^n=C(P)\oplus C(I-P)Cn=C(P)⊕C(I−P)，且C(P)⊥=C(I−P)C(P)^{\perp}=C(I-P)C(P)⊥=C(I−P)（正交补）
③Cn=C(P)⊕N(P)\mathbb C^n=C(P)\oplus N(P)Cn=C(P)⊕N(P)，且C(P)⊥=N(P)C(P)^{\perp}=N(P)C(P)⊥=N(P)（因为N(P)=C(I−P)N(P)=C(I-P)N(P)=C(I−P) ）
如图，任意向量可拆分为x=Px+(I−P)x\mathbf{x}=P\mathbf{x}+(I-P)\mathbf{x}x=Px+(I−P)x， 且 Px⊥(I−P)xP\mathbf{x}\perp (I-P)\mathbf{x}Px⊥(I−P)x
- 对于任意的x\mathbf{x}x，正交投影矩阵保证∥Px∥≤∥x∥\Vert P\mathbf{x}\Vert\le\Vert\mathbf{x}\Vert∥Px∥≤∥x∥
这就是说，正交投影 PxP\mathbf{x}Px 的长度必不大于原向量 x\mathbf{x}x 的长度 - 反过来，任何不会增长向量长度的投影必为正交投影
i.e. 对于投影矩阵P=P2P=P^2P=P2，若对任意x\mathbf{x}x有∥Px∥≤∥x∥\Vert P\mathbf{x}\Vert\le\Vert\mathbf{x}\Vert∥Px∥≤∥x∥，则PH=PP^H=PPH=P - 两正交投影矩阵 PPP 和 QQQ 正交（PHQ=PQ=0P^HQ=PQ=0PHQ=PQ=0），则
①它们所投影到的空间也正交（C(P)C(P)C(P)与C(Q)C(Q)C(Q)正交）
②进而有Q=I−PQ=I-PQ=I−P
证明：
若 PHQ=0P^HQ=0PHQ=0 且 x∈C(P)\mathbf{x}\in C(P)x∈C(P)，y∈C(Q)\mathbf{y}\in C(Q)y∈C(Q)，则xHy=(Px)H(Qy)=xHPHQy=0\mathbf{x}^{H}\mathbf{y}=(P\mathbf{x})^{H}(Q\mathbf{y})=\mathbf{x}^{H}P^{H}Q\mathbf{y}=0xHy=(Px)H(Qy)=xHPHQy=0
若 C(P)⊥C(Q)C(P)\perp C(Q)C(P)⊥C(Q)，则对于Qx∈C(Q)⊆C(P)⊥Q\mathbf{x}\in C(Q)\subseteq C(P)^{\perp}Qx∈C(Q)⊆C(P)⊥，有PH(Qx)=0P^H(Q\mathbf{x})=\mathbf{0}PH(Qx)=0，即PHQ=0P^HQ=0PHQ=0
如何求向C(A)C(A)C(A)做正交投影的正交投影矩阵
给出列满秩矩阵AAA（列向量线性无关），我们希望向列空间C(A)C(A)C(A)做正交投影
对应的正交投影矩阵就是P=A(ATA)−1ATP=A(A^TA)^{-1}A^TP=A(ATA)−1AT，可以验证P2=P=PTP^2=P=P^TP2=P=PT、C(P)=C(A)C(P)=C(A)C(P)=C(A)
说明：
①再次强调前提：rankA=n\hbox{rank}A=nrankA=n，此时才有ATAA^TAATA可逆
②注意，其中(ATA)−1AT(A^TA)^{-1}A^T(ATA)−1AT就是AAA的左逆Aleft−1A_{left}^{-1}Aleft−1
③P=A(ATA)−1ATP=A(A^TA)^{-1}A^TP=A(ATA)−1AT中左侧先出现因子AAA，这保证了C(P)=C(A)C(P)=C(A)C(P)=C(A)
推导过程：线代胶囊──正交投影矩阵
- 假如AAA的列向量是正交化的，公式得到简化：
将QR分解A=QRA=QRA=QR带入P=A(ATA)−1ATP=A(A^TA)^{-1}A^TP=A(ATA)−1AT，化简得到P=QQTP=QQ^TP=QQT
另外，如果P=QQT=[q1T⋮qkT][q1⋯qk]=q1q1T+⋯+qkqkTP=QQ^{T}=\begin{bmatrix} \mathbf{q}_1^T\\ \vdots\\ \mathbf{q}_k^T \end{bmatrix}\begin{bmatrix} \mathbf{q}_1&\cdots&\mathbf{q}_k \end{bmatrix}=\mathbf{q}_1\mathbf{q}_1^T+\cdots+\mathbf{q}_k\mathbf{q}_k^{T}P=QQT=q1T⋮qkT[q1⋯qk]=q1q1T+⋯+qkqkT
那么向量x\mathbf xx的投影容易计算：Px=(q1q1T+⋯+qkqkT)x=(q1Tx)q1+⋯+(qkTx)qkP\mathbf{x}=(\mathbf{q}_1\mathbf{q}_1^T+\cdots+\mathbf{q}_k\mathbf{q}_k^{T})\mathbf{x}=(\mathbf{q}_1^T\mathbf{x})\mathbf{q}_1+\cdots+(\mathbf{q}_k^T\mathbf{x})\mathbf{q}_kPx=(q1q1T+⋯+qkqkT)x=(q1Tx)q1+⋯+(qkTx)qk
- 注意，这里的正交投影矩阵 PPP 是唯一的：
即使AAA的列向量改变，只要C(A)C(A)C(A)仍不变、AAA仍列满秩，则AAA仍不变 - 当AAA为一个向量a\mathbf{a}a，正交投影矩阵退化为P=a(aTa)−1aT=aaTaTa\displaystyle P=\mathbf{a}(\mathbf{a}^T\mathbf{a})^{-1}\mathbf{a}^T=\frac{\mathbf{a}\mathbf{a}^T}{\mathbf{a}^T\mathbf{a}}P=a(aTa)−1aT=aTaaaT
reference：
直和与投影（前置知识）
特殊矩阵 （5）：幂等矩阵
线代胶囊──正交投影矩阵
正交投影矩阵的性质与界定
从线性变换解释最小平方近似（正交投影的应用：最小二乘法）
矩阵理论| 特殊矩阵：幂等矩阵、投影、正交投影相关推荐
- WebGL矩阵变换总结（模型矩阵，视图矩阵，投影矩阵）
矩阵变换总结(模型矩阵,视图矩阵,投影矩阵) 最近在开发项目的时候,常常用到Three.js,用起来很方便.可是,当引擎迭代升级的时候,以前的很多的技巧,并不一定使用最新的引擎.我认为应当对底层的原生 ...
- 【OpenGL】十、OpenGL 绘制点 ( 初始化 OpenGL 矩阵 | 设置投影矩阵 | 设置模型视图矩阵 | 绘制点 | 清除缓冲区 | 设置当前颜色值 | 设置点大小 | 绘制点 )
文章目录 一.初始化 OpenGL 矩阵 1.设置投影矩阵 2.设置模型视图矩阵 二.绘制点 1.清除缓冲区 2.设置当前颜色值 3.设置绘制点的大小 4.绘制点 5.将缓冲区绘制到前台 三.部分代码 ...
- 【转】图形流水线中坐标变换详解：模型矩阵、视角矩阵、投影矩阵
转自:图形流水线中坐标变换详解:模型矩阵.视角矩阵.投影矩阵_sherlockreal的博客-CSDN博客_视角矩阵 图形流水线中坐标变换详解:模型矩阵.视角矩阵.投影矩阵 图形流水线中坐标变换过程 ...
- 主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
这是从网上看到的PCA算法的步骤: 第一步,分别求每列的平均值,然后对于所有的样例,都减去对应的均值. 第二步,求特征协方差矩阵. 第三步,求协方差的特征值-显示全部 关注者 1,218 被浏览 78 ...
- 机器学习--主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
原文链接:主成分分析PCA算法:为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是"投影"?_天下对手教会少林武僧-CSDN博客_pca投影矩阵 这是从网上看到的PCA算 ...
- 矩阵的投影、线性拟合与最小二乘法
概要:投影矩阵 如果一个b向量进行矩阵运算 Pb , 那么向量b就会投影要A的列空间的最近点. 目录 一.矩阵的四大基础子空间 二.投影矩阵 三.最小二乘法 一.矩阵的四大基础子空间 一个矩阵有4 ...
- ModelMatrix、ModelViewMatrix、ProjectionMatrix、NormalMatrix模型矩阵、模型视图矩阵、投影矩阵、正规矩阵详解
ModelMatrix.ModelViewMatrix.ProjectionMatrix.ModelMatrix模型矩阵.模型视图矩阵.投影矩阵.正规矩阵详解 1. 前言 在openGL经常用到Mod ...
- 图形流水线中坐标变换详解：模型矩阵、视角矩阵、投影矩阵
图形流水线中坐标变换详解:模型矩阵.视角矩阵.投影矩阵 图形流水线中坐标变换过程 模型矩阵:模型局部坐标系和世界坐标系之间的桥梁 1.模型局部坐标系存在的意义 2.根据模型局部坐标系中点求其在世界坐标 ...
- 齐次裁剪矩阵（投影矩阵）ProjectionMatrix参数分析以及NDC坐标原理解释
齐次裁剪矩阵(投影矩阵)ProjectionMatrix参数分析以及NDC坐标原理解释 在观察空间中,我们可以通过近平面(near plane)n,和远平面(far plane)f,垂直视场角 a 以 ...
最新文章
- 蓝桥杯国赛知识点汇总
- 初面蚂蚁金服，java微积分第三方计算包
- python学费多少-python培训学费一般多少？
- 第八讲 一阶常系数线性ODE（续）
- sublime配置python3环境_【env】Sublime配置Python3开发环境
- [COM/ATL]组件、对象、MFC、ATL的区别
- javaWeb服务详解（含源代码，测试通过，注释） ——Dept的Service层
- C#、.Net经典面试题集锦（一）
- mysql忘记密码恢复
- open函数返回-1_记录学习python的第3天-递归函数/文件操作
- javascript 检测密码强度 美化版
- Nginx根据url参数匹配跳转
- 群论在计算机应用技术,群论在计算机全领域中应用.ppt
- 网站服务器ip解析,服务器 域名 解析ip
- python显示表格_python显示表格
- DNS域名解析详细说明
- 申请微信公众账号测试号
- 【ESP 保姆级教程】疯狂传感器篇 —— 案例：Mega + ESP8266 + MQ2烟雾 + MQ3酒精 + MQ7一氧化碳+ OLED + 阿里云物联网平台 + 微信小程序
- Traffic Flow Prediction Using Graph Convolution Neural NetworksOC 翻译笔记
- 计算机做课程表教程,初学表格制作教程 初学者如何制作课程表