应用矩阵分析1 子空间分析1 线性子空间基础

基本理论
- 正交分解
- 子空间的正交投影
应用举例
- 离散信号的Casorati矩阵
- 正交多分辨率分析
- Orthogonal Procrustes Problem

这个系列介绍矩阵分析的应用，相关线性代数基础会作简单介绍，但主要篇幅还是按专题的形式介绍矩阵分析相关结果在实际问题中的应用。

在优化、近似、回归等问题中，很多时候我们就是在试图找最优的子平面来近似raw data space。比如dimensional reduction，就是找一个最优子空间，使得用高维数据在最优子空间上的投影作为对高维数据的近似只有很少或几乎没有information loss。因此子空间的分析的应用方法是解决这类问题的基础。这一讲我们先回顾一下与子空间相关的线性代数结论。

基本理论

考虑数域FFF上的线性空间VVV。

定义一 向量组{v1,⋯,vm}\{v_1,\cdots,v_m\}{v1,⋯,vm}张成的子空间 (subspace) 记为
W=span{v1,⋯,vm}={w=∑i=1mαivi:∀αi∈R}W = span\{v_1,\cdots,v_m\}=\{w=\sum_{i=1}^m \alpha_iv_i:\forall \alpha_i \in \mathbb{R}\}W=span{v1,⋯,vm}={w=i=1∑mαivi:∀αi∈R}

称v1,⋯,vmv_1,\cdots,v_mv1,⋯,vm为generator，称S={v1,⋯,vm}S=\{v_1,\cdots,v_m\}S={v1,⋯,vm}为spanning set。

定理一 (Spinning set theorem): WWW与SSS的最大线性无关组张成的子空间相同。

定义二 称SSS的最大线性无关组为WWW的一组基，最大线性无关组包含的向量数目为WWW的维数，用dim(W)dim(W)dim(W)表示，SSS与WWW的基都不是唯一的。

正交分解

定义三 假设W1,W2W_1,W_2W1,W2是VVV的线性子空间，称W1⊕W2W_1 \oplus W_2W1⊕W2为W1,W2W_1,W_2W1,W2的直和
W1⊕W2={w1+w2:w1∈W1,w2∈W2}W_1 \oplus W_2 = \{w_1+w_2:w_1 \in W_1,w_2 \in W_2\}W1⊕W2={w1+w2:w1∈W1,w2∈W2}

定理二 （线性空间的直和分解）存在一列VVV的无交线性子空间W1,⋯,WpW_1,\cdots,W_pW1,⋯,Wp，使得
V=W1⊕⋯⊕WpV = W_1 \oplus \cdots \oplus W_pV=W1⊕⋯⊕Wp

此时VVV中的向量xxx存在唯一分解，
x=w1+w2+⋯+wpx = w_1 + w_2 + \cdots + w_px=w1+w2+⋯+wp

定义四 称子空间W1W_1W1与W2W_2W2正交，如果∀w1∈W1,w2∈W2\forall w_1 \in W_1,w_2 \in W_2∀w1∈W1,w2∈W2，w1⊥w2w_1 \perp w_2w1⊥w2。记为W1⊥W2W_1 \perp W_2W1⊥W2。

定理三（线性空间的正交分解） WWW是VVV的一个子空间，∃!W⊥\exists ! W^{\perp}∃!W⊥满足W⊥W⊥W \perp W^{\perp}W⊥W⊥，W⊥W^{\perp}W⊥是VVV的子空间并且
V=W⊕W⊥V = W \oplus W^{\perp}V=W⊕W⊥

称这是VVV的正交分解，称W⊥W^{\perp}W⊥为WWW的正交补。需要注意的是正交比无交更强，正交的子空间一定无交，但无交子空间不一定正交，因此正交分解是一种特殊的直和分解。

定义五 S⊂VS \subset VS⊂V为矩阵AAA的不变子空间，如果∀x∈S\forall x \in S∀x∈S, Ax∈SAx \in SAx∈S。如果AAA是方阵，λ\lambdaλ是AAA的一个特征值，显然N(A−λI)N(A-\lambda I)N(A−λI)是AAA的不变子空间，我们称这个不变子空间为矩阵AAA的特征值λ\lambdaλ对应的特征子空间。其中N(A−λI)N(A-\lambda I)N(A−λI)叫做A−λIA-\lambda IA−λI的核空间，
N(A−λI)={x∈V:(A−λI)x=0}N(A-\lambda I) = \{x \in V:(A-\lambda I)x=0\}N(A−λI)={x∈V:(A−λI)x=0}

定理四（线性空间的特征分解）AAA是VVV上的一个线性变换的矩阵表示，则VVV可以分解为AAA的特征子空间的直和，对于给定的线性变换，这种分解是唯一的。

子空间的正交投影

定义六 称P:V→S,S⊂VP:V \to S, S \subset VP:V→S,S⊂V为（从VVV到SSS的）正交投影算子，如果

C(P)=SC(P)=SC(P)=S，PPP的像空间等于SSS，C(P)={Px:∀x∈V}C(P)=\{Px:\forall x \in V\}C(P)={Px:∀x∈V}被称为像空间或者列空间
P2=PP^2=PP2=P，PPP是幂等矩阵
PH=PP^H=PPH=P，PPP是Hermite矩阵

定理五 （正交投影算子的性质）

从一个线性空间到其某个子空间的正交投影算子是唯一的；
I−PI-PI−P是从VVV到S⊥S^{\perp}S⊥的正交投影算子
如果S=span(A)S=span(A)S=span(A)，则P=A(A′A)−A′P=A(A'A)^{-}A'P=A(A′A)−A′

在比较构造正交投影的数值算法时，一个非常常用的工具是比较投影向量与子空间的夹角，我们可以定义向量与子空间的夹角为
θ(x,S)=min⁡y∈Sarccos⁡∣(x,y)∣∥x∥2∥y∥2,∀x∈V,S⊂V\theta(x,S)=\min_{y \in S}\arccos \frac{|(x,y)|}{\left\|x \right\|_2 \left\| y\right\|_2},\forall x \in V,S \subset Vθ(x,S)=y∈Sminarccos∥x∥2∥y∥2∣(x,y)∣,∀x∈V,S⊂V

θ(x,S)=θ(x,Px)\theta(x,S)=\theta(x,Px)θ(x,S)=θ(x,Px)

应用举例

离散信号的Casorati矩阵

定义七 假设u1(k),⋯,um(k)u_1(k),\cdots,u_m(k)u1(k),⋯,um(k)是一组离散信号，定义矩阵
C=[u1(k)u2(k)u3(k)⋯um−1(k)um(k)u1(k+1)u2(k+1)u3(k+1)⋯um−1(k+1)um(k+1)u1(k+2)u2(k+2)u3(k+2)⋯um−1(k+2)um(k+2)⋯⋯⋯⋯⋯⋯u1(k+m−2)u2(k+m−2)u3(k+m−2)⋯um−1(k+m−2)um(k+m−2)u1(k+m−1)u2(k+m−1)u3(k+m−1)⋯um−1(k+m−1)um(k+m−1)]C = \left[ \begin{matrix} u_1(k) & u_2(k) & u_3(k) & \cdots & u_{m-1}(k) & u_m(k) \\ u_1(k+1) & u_2(k+1) & u_3(k+1) & \cdots & u_{m-1}(k+1) & u_m(k+1) \\ u_1(k+2) & u_2(k+2) & u_3(k+2) & \cdots & u_{m-1}(k+2) & u_m(k+2) \\ \cdots & \cdots & \cdots & \cdots & \cdots & \cdots \\ u_1(k+m-2) & u_2(k+m-2) & u_3(k+m-2) & \cdots & u_{m-1}(k+m-2) & u_m(k+m-2) \\ u_1(k+m-1) & u_2(k+m-1) & u_3(k+m-1) & \cdots & u_{m-1}(k+m-1) & u_m(k+m-1) \end{matrix} \right]C=⎣⎢⎢⎢⎢⎢⎢⎡u1(k)u1(k+1)u1(k+2)⋯u1(k+m−2)u1(k+m−1)u2(k)u2(k+1)u2(k+2)⋯u2(k+m−2)u2(k+m−1)u3(k)u3(k+1)u3(k+2)⋯u3(k+m−2)u3(k+m−1)⋯⋯⋯⋯⋯⋯um−1(k)um−1(k+1)um−1(k+2)⋯um−1(k+m−2)um−1(k+m−1)um(k)um(k+1)um(k+2)⋯um(k+m−2)um(k+m−1)⎦⎥⎥⎥⎥⎥⎥⎤

这个矩阵被称为离散信号的Casorati矩阵，它的行列式被称为Casorati行列式，如果存在一个kkk使得∣C∣≠0|C|\ne 0∣C∣=0，就称这组离散信号线性无关。

正交多分辨率分析

定义八 假设u(t)u(t)u(t)是一个平方可积信号，即u(t)∈L2(R)u(t) \in L^2(\mathbb{R})u(t)∈L2(R)，取L2(R)L^2(\mathbb{R})L2(R)的一列递增的子空间Vj,j∈ZV_j,j \in \mathbb{Z}Vj,j∈Z，则根据定理三，存在
Vj+1=Vj⊕WjV_{j+1}=V_{j} \oplus W_{j}Vj+1=Vj⊕Wj

其中Wj=Vj⊥W_{j}=V^{\perp}_jWj=Vj⊥，称VjV_jVj和WjW_jWj分别为分辨率2−j2^{-j}2−j的尺度子空间与小波子空间。这样可以实现在V1,W1,⋯,Wn,⋯V_1,W_1,\cdots,W_n,\cdotsV1,W1,⋯,Wn,⋯中分别构造对信号u(t)u(t)u(t)的近似，这种分析方法是正交多分辨率分析。

Orthogonal Procrustes Problem

假设我们对同一个对象进行了两次测量，测量结果分别为A,BA,BA,B，我们希望找一个正交矩阵QQQ使得
min⁡Q′Q=I∥A−BQ∥F\min_{Q'Q=I} \left\| A-BQ \right\|_FQ′Q=Imin∥A−BQ∥F

之所以要考虑这个问题是因为我们希望在不改变测量数据的scale与内部线性相关性的前提下剔除掉第二次测量的“测量误差”，使得两次数据更具可比性。从几何上看，我们试图达成的是让C(B)C(B)C(B)中的向量经过一定的正交变换（旋转、轴反射等）可以与C(A)C(A)C(A)的某个向量基本重合。

关于Frobenius范数有一个比较有用的构造，对于任何矩阵MMM，
∥M∥F2=∑i∑jMij2=tr(MTM)\left\| M \right\|_F^2 = \sum_{i}\sum_{j}M_{ij}^2 = tr(M^TM)∥M∥F2=i∑j∑Mij2=tr(MTM)

因此
∥A−BQ∥F2=tr((A−BQ)′(A−BQ))=tr(A′A)+tr(Q′B′BQ)−2tr(Q′B′A)=tr(A′A)+tr(B′B)−2tr(Q′B′A)\left\| A-BQ \right\|_F^2 = tr((A-BQ)'(A-BQ)) \\ =tr(A'A)+tr(Q'B'BQ)-2tr(Q'B'A) = tr(A'A)+tr(B'B)-2tr(Q'B'A)∥A−BQ∥F2=tr((A−BQ)′(A−BQ))=tr(A′A)+tr(Q′B′BQ)−2tr(Q′B′A)=tr(A′A)+tr(B′B)−2tr(Q′B′A)

所以上面的最小化等价于最大化tr(Q′B′A)tr(Q'B'A)tr(Q′B′A)。对B′AB'AB′A做奇异值分解，B′A=UΣV′B'A=U\Sigma V'B′A=UΣV′，
tr(Q′B′A)=tr(Q′UΣV′)=tr(V′Q′UΣ)≤tr(Σ)tr(Q'B'A) = tr(Q'U\Sigma V') = tr(V'Q'U\Sigma) \le tr(\Sigma)tr(Q′B′A)=tr(Q′UΣV′)=tr(V′Q′UΣ)≤tr(Σ)

当且仅当Q=UV′Q=UV'Q=UV′时取等。

应用矩阵分析1 子空间分析1 线性子空间基础相关推荐

mysql分析sql语句基础工具 —— explain
转载自 https://segmentfault.com/a/1190000009724144 立即登录 [笔记] mysql分析sql语句基础工具 -- explain mysql wateran ...
分析方法的基础 — 4. 业务与管理的分离，应用案例
通过对研究对象的拆分,建立了业务与管理的分离原理概念,这个分离概念在实际的需求分析和系统设计中具有非常重要的实用价值.下面试举几例来说明分离原理概念的应用场景: 1)业务功能(界面)设计的应用:业务字 ...
分析方法的基础 — 3. 业务与管理的特性，分析与设计的抓手
拆分业务与管理的理由已经知道,想必大家经常会遇到这些词:财务管理.质量管理.物流管理.xx管理等,这些词在设计工作中可以分为两个部分去理解,即:财务&管理:质量&管理:物流&管 ...
分析方法的基础 — 2.业务与管理的拆分，破解难题的钥匙
上一篇以企业运营管理为对象,给出了分离原理模型."拆分"作为分析师的第一位能力,其意义在于当遇到复杂的问题时,如何将相似的要素拆分归集,并从上向下去理解每类要素的特点.要素间关系, ...
分析方法的基础 — 1. 拆分能力，分析师的第一技能
如果问我:作为一名合格分析师的基本功中最为重要的技能是什么?我会回答说:第一是"会说话",第二会"会拆分". "会说话"是分析师与人交流的基 ...
【Galois系统】用于图形分析的轻量级基础架构
[Galois系统]用于图形分析的轻量级基础架构论文信息概述研究动机方法解决思路实现细节结论该笔记为论文*A Lightweight Infrastructure for Graph ...
安卓逆向学习笔记：native层开发、分析和调试基础
安卓逆向学习笔记:native层开发.分析和调试基础本笔记主要是自己看,所以如果有看不懂的地方也请多多包涵,这一篇的笔记主要是<Android应用安全防护和逆向分析>的部分内容. 一 A ...
模型描述的关系模式_商业模式9要素分析表：基础模型
刘圻教授微信号:liuqiyxjxlink 投稿邮箱:liuqiyxjx@163.com 合作邮箱:liuqicooperate@163.com 原创声明作者:刘圻|编辑:谢莹莹版权:本文为公司价 ...
桩筏有限元中的弹性板计算_[转载]JCCAD建模分析桩筏基础容易出错的地方
JCCAD建模分析桩筏基础容易出错的地方首先建议认真读<JCCAD用户手册>,结构设计没有捷径好走.以下是笔者做过两个工程后的总结,以期节约读者使用JCCAD时的建模分析时间. 1.地质 ...

应用矩阵分析1 子空间分析1 线性子空间基础

应用矩阵分析1 子空间分析1 线性子空间基础

基本理论

正交分解

子空间的正交投影

应用举例

离散信号的Casorati矩阵

正交多分辨率分析

Orthogonal Procrustes Problem

应用矩阵分析1 子空间分析1 线性子空间基础相关推荐

最新文章

热门文章