实高斯随机向量与复高斯随机向量

本文内容主要来自David Tse etc., Fundamentals of Wireless Communication，Cambridge University Press, 2004中的附录A。

文章目录

1、实高斯随机向量
2、复高斯随机向量

1、实高斯随机向量

若w1,w2,…,wnw_1,w_2,\ldots,w_nw1,w2,…,wn为i.i.d.标准高斯分布随机变量，则标准高斯分布向量w=[w1,w2,…,wn]T{\bf w}=[w_1,w_2,\ldots,w_n]^{\rm T}w=[w1,w2,…,wn]T的概率密度函数为
p(w)=1(2π)nexp⁡(−∣∣w∣∣22),w∈Rn.p({\bf w})=\frac{1}{(\sqrt{2\pi})^n}\exp(-\frac{||{\bf w}||^2}{2}),\qquad {\bf w}\in {\mathbb R}^n. p(w)=(2π)n1exp(−2∣∣w∣∣2),w∈Rn.这里∣∣w∣∣=∑i=1nwi2||{\bf w}||=\sqrt{\sum_{i=1}^{n}w_i^2}∣∣w∣∣=∑i=1nwi2表示从原点到w:=[w1,w2,…,wn]T{\bf w}:=[w_1,w_2,\ldots,w_n]^{\rm T}w:=[w1,w2,…,wn]T的距离。不难发现，这里的概率密度函数只与幅度有关。
进一步，由于正交变换O{\bf O}O【即OOT=OTO=I{\bf O}{\bf O}^{\rm T}={\bf O}^{\rm T}{\bf O}={\bf I}OOT=OTO=I】不改变信号幅度，可得如下结论

如果w\bf ww为标准高斯随机向量，则OW\bf OWOW也为标准高斯分布随机变量。

上述结果表明w\bf ww在任何正态基上都具有相同分布。从几何上看，w\bf ww的分布不随旋转和反射改变，因此w\bf ww不偏好任何特定方向。此外，由于矩阵O\bf OO的行是标准正交的，标准高斯随机向量在正交方向上的投影是独立的。∣∣w∣∣2||{\bf w}||^2∣∣w∣∣2等于nnn个i.i.d.零均值高斯随机变量的平方和，称为具有nnn个自由度的卡方分布，用χn2\chi_{n}^2χn2表示。

高斯分布随机向量可以看作标准高斯分布随机向量的线性变换，加上常数向量，即
x=Aw+μ.\bf x=Aw+\bm \mu. x=Aw+μ.几个性质如下：
1）对于任意的c∈Rn{\bf c}\in {\mathbb R}^nc∈Rn，都有随机变量
cTx∼N(cTμ,cTAATc).{\bf c}^{\rm T}{\bf x}\sim {\mathcal N}({\bf c}^{\rm T}{\bm \mu},{\bf c}^{\rm T}{\bf A}{\bf A}^{\rm T}{\bf c}). cTx∼N(cTμ,cTAATc).因此，高斯随机向量（x{\bf x}x）中元素的任意线性组合都为高斯随机变量（cTx{\bf c}^{\rm T}{\bf x}cTx）。更一般来说，高斯随机向量的任意线性组合也是高斯的。
2) 如果A\bf AA可逆，则对于x=Aw+μ{\bf x}={\bf Aw+\bm \mu}x=Aw+μ，其中w∼N(0,1){\bf w}\sim \mathcal{N}({\bf 0},{\bf 1})w∼N(0,1)，有PDF为
p(x)=1(2π)ndet⁡(AAT)exp⁡(−12(x−μ)T(AAT)−1(x−μ)),x∈Rn.p({\bf x})=\frac{1}{(\sqrt{2\pi})^n\sqrt{\det({\bf AA}^{\rm T})}}\exp {\large(} -\frac{1}{2}({\bf x}-{\bm \mu})^{\rm T}({\bf AA}^{\rm T})^{-1}({\bf x}-{\bm \mu}){\large)},\quad {\bf x}\in \mathbb{R}^n. p(x)=(2π)ndet(AAT)1exp(−21(x−μ)T(AAT)−1(x−μ)),x∈Rn.这里的AAT{\bf AA}^{\rm T}AAT为x\bf xx的协方差矩阵：
K:=E[(x−μ)(x−μ)T]=AAT{\bf K}:=\mathbb{E}{\large [} ({\bf x}-{\bm \mu}) ({\bf x}-{\bm \mu})^{\rm T} {\large ]}={\bf AA}^{\rm T} K:=E[(x−μ)(x−μ)T]=AAT对于可逆矩阵A\bf AA，高斯随机向量可以完全由其均值向量μ\bm \muμ和协方差矩阵K=AAT{\bf K}={\bf AA}^{\rm T}K=AAT来刻画，这里的K\bf KK为对称且非负定矩阵。我们再来看几个推导：

由于Ow\bf OwOw与w\bf ww同分布，因此AOwA\bf OwAOw与Aw\bf AwAw同分布。
如果K\bf KK为对角阵，则高斯随机向量中的元素统计独立（不相关）。这样的随机向量也称为白高斯随机向量。当协方差矩阵K\bf KK为单位阵时，则该高斯随机向量为标准高斯随机向量。
现在考虑A\bf AA不可逆的情况。此时，Aw\bf AwAw将标准高斯随机向量w\bf ww映射到维度小于nnn的子空间上。这意味着Aw\bf AwAw中的一些成分可以表示为其它部分的线性组合。这样我们可以只关注Aw\bf AwAw中线性独立的元素，将其表示为具有更低维度的向量x~\bf \tilde{x}x~，同时将Aw\bf AwAw中的其它元素表示为x~\bf \tilde{x}x~的线性组合。这样，我们可以使得协方差矩阵K\bf KK可逆。

通常来说，高斯随机向量可以由其均值向量μ\bm \muμ和协方差矩阵K\bf KK来完全刻画，我们表示为x∼N(μ,K){\bf x}\sim \mathcal{N}({\bm \mu}, {\bf K})x∼N(μ,K)。

2、复高斯随机向量

下面我们来考虑复随机向量x=xR+xI{\bf x}={\bf x}_R+{\bf x}_Ix=xR+xI。如果向量[xR,xI]T[{\bf x}_R,{\bf x}_I]^{\rm T}[xR,xI]T为实高斯随机向量，则x{\bf x}x为复高斯向量。分布完全由实向量[xR,xI]T[{\bf x}_R, {\bf x}_I]^{\rm T}[xR,xI]T的均值和协方差矩阵来决定。可以证明，同样的信息包含在x\bf xx的均值向量μ\bm \muμ、协方差矩阵K\bf KK以及伪协方差矩阵J\bf JJ中，即
μ:=E[x]\bm \mu:={\mathbb E}[\bf x]μ:=E[x]K:=E[(x−μ)(x−μ)∗]{\bf K}:={\mathbb E} {\large [ } (\bf x-\bm \mu)(x-\mu)^{*} {\large]}K:=E[(x−μ)(x−μ)∗]J:=E[(x−μ)(x−μ)T].\bf J:={\mathbb E} {\large [} (\bf x-\bm \mu)(x-\mu)^{\rm T} {\large]}. J:=E[(x−μ)(x−μ)T].注意通常来说，复随机向量x\bf xx的协方差矩阵K\bf KK是不能完全刻画其二阶统计特性的。事实上，由于K\bf KK为Hermitian矩阵（复共轭对称矩阵），则它是由n2n^2n2个实参数来决定的。另外一方面，x\bf xx的全部二阶统计量是由2n×2n2n \times 2n2n×2n维的协方差矩阵[xR,xI]T[{\bf x}_R,{\bf x}_I]^{\rm T}[xR,xI]T中的n(2n+1)n(2n+1)n(2n+1)个实参数决定的。

循环对称特性：如果对于任意θ\thetaθ，ejθxe^{j\theta}\bf xejθx都与x\bf xxx\bf xx同分布，则称$\bf $具有循环对称性。

对于任意θ\thetaθ，循环对称复随机变量x\bf xx都有
E[x]=E[ejθx]=ejθE[x],{\mathbb E}[{\bf x}]={\mathbb E}[e^{j\theta}{\bf x}]=e^{j\theta}{\mathbb E}[{\bf x}], E[x]=E[ejθx]=ejθE[x],因此均值μ=0\bm \mu=\bf 0μ=0。进一步，对于任意θ\thetaθ，有
E[xxT]=E[ejθx(ejθx)T]=ej2θE[xxT],{\mathbb E}[{\bf xx}^{\rm T}]={\mathbb E}[e^{j\theta}{\bf x}(e^{j\theta}{\bf x})^{\rm T}]=e^{j2\theta}{\mathbb E}[{\bf xx}^{\rm T}], E[xxT]=E[ejθx(ejθx)T]=ej2θE[xxT],因此伪协方差矩阵J\bf JJ也为零。故协方差矩阵K\bf KK可以完全刻画循环对称随机向量的一阶和二阶统计特性。并且如果随机向量为高斯的，则K\bf KK可以刻画所有统计特性。协方差矩阵为K\bf KK的循环对称高斯随机向量记为CN(0,K){\mathcal CN}(0,\bf K)CN(0,K)。
下面来看几个特例：

复高斯随机变量w=wR+jwIw=w_R+jw_Iw=wR+jwI，这里的实部和虚部为.零均值高斯i.i.d实随机变量，则www为循环对称，而其循环对称性其实就是实高斯随机向量[wR,wI]T[w_R,w_I]^{\rm T}[wR,wI]T的旋转不变形。事实上，循环对称复高斯随机变量的实部和虚部一定是零均值i.i.d.的。其统计特性可以完全由方差σ2:=E[∣w∣2]\sigma^2:={\mathbb E}[|w|^2]σ2:=E[∣w∣2]来决定，记为w∼CN(0,σ2)w\sim {\mathcal CN}(0,\sigma^2)w∼CN(0,σ2)。注意如果不是循环对称的，则复高斯随机变量需要用五个参数来给定：实部均值、虚部均值、实部方差、虚部方差以及虚实部相关。www的相位在[0,2π][0,2\pi][0,2π]上均匀分布，并与幅度r=∣∣w∣∣r=||w||r=∣∣w∣∣独立，后者的PDF为
P(r)=rσ2exp⁡{−r22σ2},r≥0P(r)=\frac{r}{\sigma^2}\exp{\Large \{} \frac{-r^2}{2\sigma^2}{\Large \}},\quad r\ge 0 P(r)=σ2rexp{2σ2−r2},r≥0满足瑞利分布。幅度的平方，即r2=wR2+wI2r^2=w_R^2+w_I^2r2=wR2+wI2，满足χx2\chi_x^2χx2分布即指数分布。
nnn个i.i.d.CN(0,1){\mathcal CN}(0,1)CN(0,1)随机变量构成标准循环对称高斯随机向量w∼CN(0,I){\bf w}\sim {\mathcal CN}(0,\bf{I})w∼CN(0,I)，其PDF为
P(w)=1πnexp⁡(−∣∣w∣∣2),w∈Cn.P({\bf w})=\frac{1}{\pi^n}\exp (-||{\bf w}||^2),\quad {\bf w}\in {\mathbb C}^n. P(w)=πn1exp(−∣∣w∣∣2),w∈Cn.与实高斯随机向量N(0,I){\mathcal N}(0,{\bf I})N(0,I)类似，我们有如下特性特性

Uw\bf UwUw与w\bf ww同分布，这里的U\bf UU为酉矩阵。

与实数情况相似，w\bf ww的幅度满足χ2n2\chi_{2n}^2χ2n2分布。

如果w∼CN(0,I){\bf w}\sim {\mathcal CN}(0,\bf I)w∼CN(0,I)并且A\bf AA为复矩阵，则x=Aw\bf x=Awx=Aw也是循环对称高斯的，且x∼CN(0,K){\bf x}\sim {\mathcal CN}(0,\bf K)x∼CN(0,K)。如果A\bf AA可逆，则x\bf xx的PDF为
p(x)=1πndet⁡Kexp⁡(−x∗K−1x),x∈Cn.p({\bf x})=\frac{1}{\pi^n \sqrt{\det {\bf K}}}\exp(-\bf x^*K^{-1}x),\quad x\in \mathbb C^n. p(x)=πndetK1exp(−x∗K−1x),x∈Cn.