线性最小方差估计和射影定理

主要参考了邓自立老师的《信息融合滤波理论及其应用》，邓老师另外还有一本《卡尔曼滤波与维纳滤波》，后者该部分的推导过程基本是前者的简化版，黄小平老师的《卡尔曼滤波原理及应用》则推导更加简便（看不懂，省略过多），建议初学者阅读《信息融合滤波理论及其应用》。

一、线性最小方差估计

1、得到线性最小方差估计

随机变量 y y y属于空间 R m R^m Rm，维度为 [ m , 1 ] [m,1] [m,1]；随机变量 x x x属于空间 R n R^n Rn，维度为 [ n , 1 ] [n,1] [n,1]。存在一个线性函数可以从 y y y估计 x x x，估计值写作 x ^ \widehat{x} x ，该线性函数写作：
x ^ = b + A × y \widehat{x}=b+A \times y x =b+A×y

此时的方差 J = E [ ( x − x ^ ) T × ( x − x ^ ) ] = E [ ( x − b − A × y ) T × ( x − b − A × y ) ] J=E[(x-\hat x)^T \times (x-\hat x)]=E[(x-b-A \times y)^T \times (x-b-A \times y)] J=E[(x−x^)T×(x−x^)]=E[(x−b−A×y)T×(x−b−A×y)]

想要得到合适的参数 b b b和 A A A，使得 J J J最小化，不妨令 ∂ J ∂ b = − 2 E ( x − b − A y ) = 0 \frac{\partial J}{\partial b}=-2E(x-b-Ay)=0 ∂b∂J=−2E(x−b−Ay)=0

可以解得 { b = E x − A × E y A = P x y P y y − 1 \begin{cases} b=Ex-A\times Ey\\ A=P_{xy}{P_{yy}}^{-1}\\ \end{cases} {b=Ex−A×EyA=PxyPyy−1

由此可得 x ^ = E x + P x y P y y − 1 ( y − E y ) \hat{x}=Ex+P_{xy}{P_{yy}}^{-1}\left( y-Ey \right) x^=Ex+PxyPyy−1(y−Ey)

2、一些特性

（1）无偏性： E x ^ = E x E\hat x=Ex Ex^=Ex

E x ^ = E [ E x + P x y P y y − 1 ( y − E y ) ] = E x + P x y P y y − 1 ( E y − E y ) = E x E \hat x=E[Ex+P_{xy}P_{yy}^{-1}(y-Ey)]\\ =Ex+P_{xy}P_{yy}^{-1}(Ey-Ey)\\ =Ex Ex^=E[Ex+PxyPyy−1(y−Ey)]=Ex+PxyPyy−1(Ey−Ey)=Ex

（2）正交性： E [ ( x − x ^ ) y T ] = 0 E[(x-\hat x)y^T]=0 E[(x−x^)yT]=0

首先：
E [ ( x − E x − P x y P y y − 1 ( E y − E y ) ) E y T ] 展开后 = E ( x E T ( y ) ) − E [ E ( x ) E T ( y ) ] − P x y P y y − 1 E ( y ) E T ( y ) + P x y P y y − 1 E ( y ) E T ( y ) = 0 E[(x-Ex-P_{xy}P_{yy}^{-1}(Ey-Ey)){Ey}^T]展开后\\ =E(xE^{T}(y))-E[E(x)E^T(y)]-P_{xy}P_{yy}^{-1}E(y)E^T(y)+P_{xy}P_{yy}^{-1}E(y)E^T(y)\\ =0 E[(x−Ex−PxyPyy−1(Ey−Ey))EyT]展开后=E(xET(y))−E[E(x)ET(y)]−PxyPyy−1E(y)ET(y)+PxyPyy−1E(y)ET(y)=0

然后：
E [ ( x − x ^ ) y T ] = E [ ( x − E x − P x y P y y − 1 ( E y − E y ) ) y T ] = E [ ( x − E x − P x y P y y − 1 ( E y − E y ) ) ( y − E y ) T ] ( 由上式子推出 ) = E [ ( x − E x ) ( y − E y ) T ] − E [ P x y P y y − 1 ( y − E y ) ( y − E y ) T ] = P x y − P x y P y y P y y − 1 = 0 E[(x-\hat x)y^T]\\ =E[(x-Ex-P_{xy}P_{yy}^{-1}(Ey-Ey))y^T]\\ =E[(x-Ex-P_{xy}P_{yy}^{-1}(Ey-Ey))(y-Ey)^T] (由上式子推出)\\ =E[(x-Ex)(y-Ey)^T]-E[P_{xy}P_{yy}^{-1}(y-Ey)(y-Ey)^T]\\ =P_{xy}-P_{xy}P_{yy}P_{yy}^{-1}\\ =0 E[(x−x^)yT]=E[(x−Ex−PxyPyy−1(Ey−Ey))yT]=E[(x−Ex−PxyPyy−1(Ey−Ey))(y−Ey)T](由上式子推出)=E[(x−Ex)(y−Ey)T]−E[PxyPyy−1(y−Ey)(y−Ey)T]=Pxy−PxyPyyPyy−1=0

（3）不相关性： x ˉ = x − x ^ \bar x = x- \hat x xˉ=x−x^与 y y y不相关

E [ x − x ^ ] = E ( x ) − E ( x ^ ) = 0 E[x- \hat x]=E(x)-E(\hat x)=0 E[x−x^]=E(x)−E(x^)=0

E [ [ ( x − x ^ ) − E ( x − x ^ ) ] ( y − E y ) T ] = E [ ( x − x ^ ) ( y − E y ) T ] = E [ ( x − x ^ ) y T ] − E [ ( x − x ^ ) ( E y ) T ] = 0 E[[(x-\hat x)-E(x-\hat x)](y-Ey)^T]\\ =E[(x-\hat x)(y-Ey)^T]\\ =E[(x-\hat x)y^T]-E[(x- \hat x)(Ey)^T]\\ =0 E[[(x−x^)−E(x−x^)](y−Ey)T]=E[(x−x^)(y−Ey)T]=E[(x−x^)yT]−E[(x−x^)(Ey)T]=0

二、射影定理

摄影定理是高维空间中的正交分解。线性流形就是高维向量组成的集合。

由前文知道 x − x ^ x-\hat x x−x^和 y y y不相关且正交，不妨称这种情况为 x − x ^ x-\hat x x−x^垂直 y y y，记作 ( x − x ^ ) ⊥ y (x-\hat x) \bot y (x−x^)⊥y,并称作 x ^ \hat x x^为 x x x在 y y y上的射影，写作 x ^ = p r o j ( x ∣ y ) \hat x=proj(x|y) x^=proj(x∣y)。

1、随机变量的线性最小方差估计就是射影的结果。

随机变量 y ( 1 ) , ⋯ , y ( k ) ∈ R m y(1),\cdots,y(k)\in R^m y(1),⋯,y(k)∈Rm对随机变量 x ∈ R n x \in R^n x∈Rn的线性最小方差估计 x ^ \hat x x^

x ^ = p r o j ( x ∣ w ) ≜ p r o j ( x ∣ y ( 1 ) , ⋯ , y ( k ) ) \hat x=proj(x|w)\triangleq proj(x|y(1),\cdots,y(k)) x^=proj(x∣w)≜proj(x∣y(1),⋯,y(k))
称 x ^ \hat x x^为 x x x在线性流形 L ( w ) L(w) L(w)或 L ( y ( 1 ) , ⋯ , y ( k ) ) L(y(1),\cdots,y(k)) L(y(1),⋯,y(k))上的射影。

L ( w ) L(w) L(w)定义为:
L ( w ) ≜ L ( y ( 1 ) , ⋯ , y ( k ) ) = { y ∣ y = A w + b , ∀ b ∈ R n , ∀ A ∈ R n × k m } L(w)\triangleq L(y(1),\cdots,y(k))\\ =\{y|y=Aw+b,\forall b\in R^n,\forall A\in R^{n \times km}\} L(w)≜L(y(1),⋯,y(k))={y∣y=Aw+b,∀b∈Rn,∀A∈Rn×km}

2、一个推论

若 x ∈ R n x \in R^n x∈Rn为0均值随机向量， y ( 1 ) , ⋯ , y ( k ) ∈ R m y(1), \cdots ,y(k) \in R^m y(1),⋯,y(k)∈Rm为0均值互不相关（正交）的随机变量，那么存在以下性质：
p r o j ( x ∣ y ( 1 ) , ⋯ , y ( k ) ) = ∑ i = 1 k p r o j ( x ∣ y ( i ) ) proj(x|y(1),\cdots ,y(k))=\sum_{i=1}^k{proj\left( x|y\left( i \right) \right)} proj(x∣y(1),⋯,y(k))=i=1∑kproj(x∣y(i))
证明：
p r o j ( x ∣ y ( 1 ) , ⋯ , y ( k ) ) = p r o j ( x ∣ w ) = P x w P w w − 1 w = E [ x ( y T ( 1 ) , ⋯ , y T ( k ) ) ] [ P y ( 1 ) y ( 1 ) − 1 0 ⋯ 0 0 ⋱ 0 ⋮ ⋮ 0 ⋱ 0 0 ⋯ 0 P y ( k ) y ( k ) − 1 ] [ y ( 1 ) ⋮ y ( k ) ] = ∑ i = 1 k P x y ( i ) P y ( i ) y ( i ) − 1 y ( i ) = ∑ i = 1 k p r o j ( x ∣ y ( i ) ) proj(x|y(1),\cdots,y(k))=proj(x|w)=P_{xw}P_{ww}^{-1}w=\\ E\left[ x\left( y^T\left( 1 \right) ,\cdots ,y^T\left( k \right) \right) \right] \left[ \begin{matrix} P_{y\left( 1 \right) y\left( 1 \right)}^{-1}& 0& \cdots& 0\\ 0& \ddots& 0& \vdots\\ \vdots& 0& \ddots& 0\\ 0& \cdots& 0& P_{y\left( k \right) y\left( k \right)}^{-1}\\ \end{matrix} \right] \left[ \begin{array}{c} y\left( 1 \right)\\ \vdots\\ y\left( k \right)\\ \end{array} \right] =\\ \sum_{i=1}^k{P_{xy\left( i \right)}P_{y\left( i \right) y\left( i \right)}^{-1}y\left( i \right) =\sum_{i=1}^k{proj\left( x|y\left( i \right) \right)}} proj(x∣y(1),⋯,y(k))=proj(x∣w)=PxwPww−1w=E[x(yT(1),⋯,yT(k))] Py(1)y(1)−10⋮00⋱0⋯⋯0⋱00⋮0Py(k)y(k)−1 y(1)⋮y(k) =i=1∑kPxy(i)Py(i)y(i)−1y(i)=i=1∑kproj(x∣y(i))

3、第二个推论

p r o j ( A x + B z ∣ y ) = A × p r o j ( x ∣ y ) + B × p r o j ( z ∣ y ) proj(Ax+Bz|y)=A \times proj(x|y)+B \times proj(z|y) proj(Ax+Bz∣y)=A×proj(x∣y)+B×proj(z∣y)

4、第三个推论

有随机变量 x ∈ R n x \in R^n x∈Rn和随机变量 y ∈ R m y \in R^m y∈Rm，记 x x x的分量形式为：

x = [ x 1 ⋮ x n ] x=\left[ \begin{array}{c} x_1\\ \vdots\\ x_n\\ \end{array} \right] x= x1⋮xn

有下面关系成立：

p r o j ( x ∣ y ) = [ p r o j ( x 1 ∣ y ) ⋮ p r o j ( x n ∣ y ) ] proj(x|y)=\left[ \begin{array}{c} proj(x_1|y)\\ \vdots\\ proj(x_n|y)\\ \end{array} \right] proj(x∣y)= proj(x1∣y)⋮proj(xn∣y)

即：随机变量 x x x的线性最小方差估计的每个分量等于 x x x的相应的分量的线性最小方差估计。