0 符号声明

（1）粗体字表示矢量或者矩阵，如x\boldsymbol{x}表示NN维矢量。
（2）N(x|μ,Σ)\mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})表示随机矢量x\boldsymbol{x}是服从均值为μ\boldsymbol{\mu}、协方差矩阵为Σ\boldsymbol{\Sigma}的高斯PDF的高斯矢量。
（3）N(μ,Σ)\mathcal{N}(\boldsymbol{\boldsymbol{\mu}},\boldsymbol{\Sigma})表示均值为μ\boldsymbol{\mu}、协方差矩阵为Σ\boldsymbol{\Sigma}的多元高斯分布。
（4）’∝\propto’，表示正比于，如x∝yx\propto y表示x=ayx=ay，aa为常数。

1 标量高斯PDF

设XX是均值为aa，方差为AA的高斯随机变量，则其概率密度函数为

pX(x)=12πA−−−−√exp[−(x−a)22A]

\begin{align} p_X(x)=\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2A}}\right] \end{align}
(1)均值是否为 μ\mu？

E[X]=∫+∞−∞x12πA−−−−√exp[−(x−a)22A]dx=(a)∫+∞−∞(y+a)12πA−−−−√exp(−y22A)dy=∫+∞−∞y12πA−−−−√exp(−y22A)dy+a∫+∞−∞12πA−−−−√exp(−y22A)dy=μ

\begin{align} \mathbb{E}[X]&=\int_{-\infty}^{+\infty}x\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2 A}}\right]\text{d}x\\ &\overset{(a)}{=}\int_{-\infty}^{+\infty}(y+a)\frac{1}{\sqrt{2\pi A}}\exp \left({-\frac{y^2}{2A}}\right)\text{d}y\\ &=\int_{-\infty}^{+\infty}y\frac{1}{\sqrt{2\pi A}}\exp (-\frac{y^2}{2A})\text{d}y+a\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi A}}\exp (-\frac{y^2}{2A})\text{d}y\\ &=\mu \end{align}
其中步骤 (a)(a)作了变量替换 y=x−ay=x-a。

(2)方差是否为AA?

D(X)=∫+∞−∞(x−a)212πA−−−−√exp[−(x−a)22A]dx=(b)∫+∞−∞y212πA−−−−√exp[−y22A]dy=2∫+∞0y212πA−−−−√exp(−y22A)dy=22πA−−−−√[−Ayexp(−y22A)|+∞0+A∫+∞0exp(−y22A)dy]=A

\begin{align} D(X)&=\int_{-\infty}^{+\infty}(x-a)^2\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2 A}}\right]\text{d}x\\ &\overset{(b)}{=}\int_{-\infty}^{+\infty}y^2\frac{1}{\sqrt{2\pi A}}\exp\left[{-\frac{y^2}{2 A}}\right]\text{d}y\\ &=2\int_{0}^{+\infty}y^2\frac{1}{\sqrt{2\pi A}}\exp\left({-\frac{y^2}{2 A}}\right)\text{d}y\\ &=\frac{2}{\sqrt{2\pi A}}\left[{-Ay\exp(-\frac{y^2}{2 A})|_0^{+\infty}+A\int^{+\infty}_0 \exp(-\frac{y^2}{2 A})\text{d}y}\right]\\ &=A \end{align}

(3)该高斯PDF是否满足概率归‘1’性？

[∫+∞−∞pX(x)dx]2=(∫+∞−∞pX(x)dx)(∫+∞−∞pX(y)dy)=12πA∫+∞−∞∫+∞−∞exp[−(x−a)22A]exp[−(y−a)22A]dxdy=(c)12πA∫+∞−∞∫+∞−∞exp(−m2+n22A)dmdn=(d)12πA∫2π0dθ∫+∞0exp(−r22A)dr.r=1

\begin{align} \left[{\int_{-\infty}^{+\infty} p_X(x)\text{d}x}\right]^2&=\left({\int_{-\infty}^{+\infty} p_X(x)\text{d}x}\right)\left({\int_{-\infty}^{+\infty} p_X(y)\text{d}y}\right)\\ &=\frac{1}{2\pi A}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\exp \left[{-\frac{(x-a)^2}{2A}}\right]\exp\left[{-\frac{(y-a)^2}{2A}}\right]\text{d}x\text{d}y\\ &\overset{(c)}{=}\frac{1}{2\pi A}\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\exp\left({-\frac{m^2+n^2}{2A}}\right)\text{d}m\text{d}n\\ &\overset{(d)}{=}\frac{1}{2\pi A} \int_{0}^{2\pi}\text{d}\theta\int^{+\infty}_0 \exp(-\frac{r^2}{2A})\text{d}r.r\\ &=1 \end{align}
其中步骤 (c)(c)做了变量替换 m=x−a,n=y−am=x-a, n=y-a。步骤 (d)(d)将笛卡尔坐标转换到极坐标。

2. 高斯随机变量的加减

定理：

假设X∼N(a,A),Y∼N(b,B)X\sim \mathcal{N}(a,A), Y\sim \mathcal{N}(b,B)，且XX与YY相互独立，则随机变量Z=nX+mYZ=nX+mY(n,mn,m为任意常数) 服从Z∼N(na+mb,n2A+m2B)Z\sim \mathcal{N}(na+mb,n^2A+m^2B).

该定理可以通过特征函数进行证明，这里采用从累计分布函数与概率密度函数的关系来证明，分为如下两个部分

(1)假设X∼N(a,A)X\sim \mathcal{N}(a,A)，则nX∼N(na,n2A)nX\sim\mathcal{N}(na,n^2A)
证明：令Z=nXZ=nX，则该随机变量的累积分布函数（Cumulative distribution function, CDF）为

PZ(Z≤z)=PZ(nX≤z)=PZ(X≤zn)=∫z/n−∞12πA−−−−√exp[−(x−a)22A]dx

\begin{align} P_Z(Z\leq z)&=P_Z(nX\leq z)\\ &=P_Z(X\leq \frac{z}{n})\\ &=\int_{-\infty}^{z/n}\frac{1}{\sqrt{2\pi A}}\exp \left[{-\frac{(x-a)^2}{2A}}\right]\text{d}x\\ \end{align}
对应有，该随机变量的概率密度函数（Probability density function, PDF）为

pZ(z)=dPz(Z≤z)dz=12πn2A−−−−−−√exp⎡⎣−(zn−a)22A⎤⎦=12πn2A−−−−−−√exp[−(z−na)22n2A]

\begin{align} p_{Z}(z)&=\frac{\text{d}P_z(Z\leq z)}{\text{d}z}\\ &=\frac{1}{\sqrt{2\pi n^2A}}\exp \left[{-\frac{(\frac{z}{n}-a)^2}{2A}}\right]\\ &=\frac{1}{\sqrt{2\pi n^2A}}\exp \left[{-\frac{(z-na)^2}{2n^2A}}\right] \end{align}
(2)证明 nX+mY∼N(na+mb,n2A+m2B)nX+mY\sim \mathcal{N}(na+mb,n^2A+m^2B)

证明：令 Φ=nX\Phi=nX, Ψ=mY\Psi=mY. 由于XX 与YY相互独立，因此 Φ\Phi 与Ψ\Psi也是相互独立。Φ\Phi与Ψ\Psi的联合高斯PDF为

pΦ,Ψ(ϕ,ψ)=12πn2Am2B−−−−−−−√1−ρ2−−−−−√exp⎧⎩⎨−12(1−ρ2)⎡⎣(ϕ−nan2A−−−−√)2−2ρ(ϕ−nan2A−−−−√)(ψ−nbm2B−−−−√)+(ϕ−nbm2B−−−−√)2⎤⎦⎫⎭⎬

\begin{align} p_{\Phi,\Psi}(\phi,\psi) = &\frac{1}{{2\pi \sqrt {n^2Am^2B} \sqrt {1 - {\rho ^2}} }}\\ &\exp \left\{ { - \frac{1}{{2( {1 - {\rho ^2}}) }}\left[ {{{\left( {\frac{{\phi - na}}{{\sqrt {n^2A} }}} \right)}^2} - 2\rho \left( {\frac{{\phi - na}}{{\sqrt {n^2A }}}} \right)\left( {\frac{{\psi - nb}}{{\sqrt {m^2B} }}} \right) + {{\left( {\frac{{\phi - nb}}{{\sqrt {m^2B} }}} \right)}^2}} \right]} \right\} \end{align}
其中 ρ\rho Φ\Phi和 Ψ\Psi是相关系数。由于 Φ\Phi与 Ψ\Psi相互独立，我们有 ρ=0\rho=0。因此 Φ\Phi与 Ψ\Psi的联合分布可以简化为

pΦ,Ψ(ϕ,ψ)=12πn2Am2B−−−−−−−√exp[−12((ϕ−na)2n2A+(ψ−mb)2m2B)]

\begin{align} p_{\Phi,\Psi}(\phi,\psi) =\frac{1}{{2\pi \sqrt {n^2Am^2B}}}\exp \left[ { - \frac{1}{{2 }}\left( { {\frac{{(\phi - na)^2}}{{n^2A}}} + \frac{{(\psi - mb)^2}}{{m^2B }}} \right)} \right] \end{align}
令 Z=Φ+ΨZ=\Phi+\Psi，利用卷积公式，有

fZ(z)=∫+∞−∞p(ϕ,z−ϕ)dϕ=∫+∞−∞12πn2Am2B−−−−−−−√exp[−12((ϕ−na)2n2A+(z−ϕ−mb)2m2B)]dϕ∝∫+∞−∞exp[−12((ϕ−na)2n2A+(z−ϕ−mb)2m2B)]dϕ=∫∞∞exp⎧⎩⎨−12⎡⎣(1n2A+1m2B)⎛⎝ϕ−anA+zm2B−bmB1n2A+1m2B⎞⎠2−(anA+zm2B−bmB)21n2A+1m2B+z2m2B−2zbmB⎤⎦⎫⎭⎬dϕ∝exp⎡⎣−12⎛⎝−(anA+zm2B−bmB)21n2A+1m2B+z2m2B−2zbmB⎞⎠⎤⎦∝exp[−12(−z2m4B2n2Am2Bn2A+m2B−2(anA−bmB)zm2Bn2Am2Bn2A+m2B+z2m2B−2zbmB)]=exp[−12(1n2A+m2Bz2−2nA+mBn2A+m2B)]∝exp[−(z−(nA+mB))22(n2A+m2B)]

\begin{align} f_Z(z)&=\int_{-\infty}^{+\infty}p(\phi,z-\phi) \text{d}\phi\\ &=\int_{-\infty}^{+\infty}\frac{1}{{2\pi \sqrt {n^2Am^2B}}}\exp \left[ { - \frac{1}{{2 }}\left( { {\frac{{(\phi - na)^2}}{{n^2A}}} + \frac{{(z-\phi - mb)^2}}{{m^2B }}} \right)} \right]\text{d}\phi\\ &\propto \int_{-\infty}^{+\infty}\exp \left[ { - \frac{1}{{2 }}\left( { {\frac{{(\phi - na)^2}}{{n^2A}}} + \frac{{(z-\phi - mb)^2}}{{m^2B }}} \right)} \right]\text{d}\phi\\ &=\int_{\infty}^{\infty}\exp{\left\{{-\frac{1}{2}\left[{(\frac{1}{n^2A}+\frac{1}{m^2B})\left({\phi-\frac{\frac{a}{nA}+\frac{z}{m^2B}-\frac{b}{mB}}{\frac{1}{n^2A}+\frac{1}{m^2B}}}\right)^2-\frac{(\frac{a}{nA}+\frac{z}{m^2B}-\frac{b}{mB})^2}{\frac{1}{n^2A}+\frac{1}{m^2B}} +\frac{z^2}{m^2B}-\frac{2zb}{mB} }\right] }\right\}}\text{d}\phi\\ &\propto \exp{\left[{-\frac{1}{2}\left({-\frac{(\frac{a}{nA}+\frac{z}{m^2B}-\frac{b}{mB})^2}{\frac{1}{n^2A}+\frac{1}{m^2B}} +\frac{z^2}{m^2B}-\frac{2zb}{mB} }\right) }\right]}\\ &\propto \exp\left[{-\frac{1}{2}\left({-\frac{z^2}{m^4B^2}\frac{n^2Am^2B}{n^2A+m^2B}-2(\frac{a}{nA}-\frac{b}{mB})\frac{z}{m^2B}\frac{n^2Am^2B}{n^2A+m^2B}+\frac{z^2}{m^2B}-\frac{2zb}{mB}}\right)}\right]\\ &=\exp\left[{-\frac{1}{2}\left({\frac{1}{n^2A+m^2B}z^2-2\frac{nA+mB}{n^2A+m^2B}}\right)}\right]\\ &\propto\exp\left[{-\frac{(z-(nA+mB))^2}{2(n^2A+m^2B)}}\right] \end{align}
故

Z∼N(nA+mB,n2A+m2B)

\begin{align} Z\sim \mathcal{N}(nA+mB, n^2A+m^2B) \end{align}

3. 标量高斯PDF的乘法

引理：

N(x;a,A)N(x;b,B)=N(0;a−b,A+B)N⎛⎝x;aA+bB1A+1B,11A+1B⎞⎠

\begin{equation} \mathcal{N}(x;a,A)\mathcal{N}(x;b,B)=\mathcal{N}(0;a-b,A+B)\mathcal{N} \left({x;\frac{\frac{a}{A}+\frac{b}{B}}{\frac{1}{A}+\frac{1}{B}},\frac{1}{\frac{1}{A}+\frac{1}{B}}}\right) \end{equation}
证明

N(x;a,A)N(x;b,B)∝∝∝∝exp[−(x−a)22A−(x−b)22B]exp[−x2(12A+12B)+x(aA+bB)]exp⎡⎣−(12A+12B)⎛⎝x−aA+bB1A+1B⎞⎠2⎤⎦N⎛⎝x;aA+bB1A+1B,11A+1B⎞⎠

\begin{eqnarray} \mathcal{N}(x;a,A)\mathcal{N}(x;b,B)&\propto& \exp\left[{-\frac{(x-a)^2}{2A}-\frac{(x-b)^2}{2B}}\right]\\ &\propto&\exp{\left[{-x^2\left({\frac{1}{2A}+\frac{1}{2B}}\right)+x\left({\frac{a}{A}+\frac{b}{B}}\right)}\right]}\\ &\propto&\exp{\left[{-(\frac{1}{2A}+\frac{1}{2B})\left({x-\frac{\frac{a}{A}+\frac{b}{B}}{\frac{1}{A}+\frac{1}{B}}}\right)^2}\right]}\\ &\propto&\mathcal{N} \left({x;\frac{\frac{a}{A}+\frac{b}{B}}{\frac{1}{A}+\frac{1}{B}},\frac{1}{\frac{1}{A}+\frac{1}{B}}}\right) \end{eqnarray}
因此

N(x;a,A)N(x;b,B)=N(0;a−b,A+B)N⎛⎝x;aA+bB1A+1B,11A+1B⎞⎠

4. 多元高斯随机变量

随机变量X∈RN\boldsymbol{X}\in \mathbb{R}^N服从均值为a\boldsymbol{a}，协方差矩阵Σ\boldsymbol{\Sigma}的NN元高斯分布，则该随机变量的概率分布为

pX(x)=1det(Σ)−−−−−−√(2π)N/2exp[−12(x−μ)TΣ−1(x−μ)]

\begin{align} p_X(\boldsymbol{x})=\frac{1}{\sqrt{\det (\boldsymbol{\Sigma})}(2\pi)^{N/2}}\exp\left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right] \end{align}
记作X∼N(μ,Σ)\boldsymbol{X}\sim \mathcal{N}(\boldsymbol{\mu},\boldsymbol{\Sigma})或X∼N(x|μ,Σ)\boldsymbol{X}\sim \mathcal{N}(\boldsymbol{x}|\boldsymbol{\mu},\boldsymbol{\Sigma})。
(1)均值μ\boldsymbol{\mu}

E[X]=∫x1det(Σ)−−−−−−√(2π)N/2exp[−12(x−μ)TΣ−1(x−μ)]dx=(e)∫(y+μ)1det(Σ)−−−−−−√(2π)N/2exp[−12yTΣ−1y]dy=μ

\begin{align} \mathbb{E}[\boldsymbol{X}] &=\int_{}\boldsymbol{x}\frac{1}{\sqrt{\det (\boldsymbol{\Sigma})}(2\pi)^{N/2}}\exp\left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right]\text{d}\boldsymbol{x}\\ &\overset{(e)}{=}\int (\boldsymbol{y}+\boldsymbol{\mu})\frac{1}{\sqrt{\det (\boldsymbol{\Sigma})}(2\pi)^{N/2}}\exp\left[{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{y}}\right]\text{d}\boldsymbol{y}\\ &=\boldsymbol{\mu} \end{align}
步骤 (e)(e)做标量替换 y=x−μ\boldsymbol{y}=\boldsymbol{x}-\boldsymbol{\mu}
(2)协方差矩阵 Σ\boldsymbol{\Sigma}

D[X]=∫(x−μ)(x−μ)T1det(Σ)−−−−−−√(2π)N/2exp[−12(x−μ)TΣ−1(x−μ)]dx=(f)∫yyT1det(Σ)−−−−−−√(2π)N/2exp[−12yTΣ−1y]dy

\begin{align} D[\boldsymbol{X}] &=\int (\boldsymbol{x}-\boldsymbol{\mu})(\boldsymbol{x}-\boldsymbol{\mu})^T\frac{1}{\sqrt{\det (\boldsymbol{\Sigma})}(2\pi)^{N/2}}\exp\left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right]\text{d}\boldsymbol{x}\\ &\overset{(f)}{=}\int \boldsymbol{y}\boldsymbol{y}^T\frac{1}{\sqrt{\det (\boldsymbol{\Sigma})}(2\pi)^{N/2}} \exp\left[{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{y}}\right]\text{d}\boldsymbol{y} \end{align}
其中步骤 (f)(f) 作变量替换 y=x−μ\boldsymbol{y}=\boldsymbol{x}-\boldsymbol{\mu}。由于 Σ\boldsymbol{\Sigma}是对称矩阵，因此存在 Σ=PΛPT\boldsymbol{\Sigma}=\boldsymbol{P \Lambda P}^T。令 Z=PT\boldsymbol{Z}=\boldsymbol{P}^\boldsymbol{T}，则有 Z∼N(0,Λ)\boldsymbol{Z}\sim \mathcal{N}(\boldsymbol{0},\boldsymbol{\Lambda})

E[YYT]=E[PTZZTP]=PTE[ZZT]P=(g)PTΛP

\begin{align} \mathbb{E}\left[\boldsymbol{YY}^T\right]=\mathbb{E}[\boldsymbol{P}^\boldsymbol{T}\boldsymbol{Z}\boldsymbol{Z}^T\boldsymbol{P}]=\boldsymbol{P}^T\mathbb{E}[\boldsymbol{Z}\boldsymbol{Z}^T]\boldsymbol{P}\overset{(g)}{=}\boldsymbol{P}^T\boldsymbol{\Lambda}\boldsymbol{P} \end{align}
More details about (g)(g) are given as following

E[ZZT]=∫zzT1det(Λ)−−−−−−√(2π)N/2exp(−12zTΛ−1z)dz

\begin{align} \mathbb{E}[\boldsymbol{Z}\boldsymbol{Z}^T]=\int {\boldsymbol{z}\boldsymbol{z}^T}\frac{1}{\sqrt{\det (\boldsymbol{\Lambda})}(2\pi)^{N/2}}\exp (-\frac{1}{2}\boldsymbol{z}^T\boldsymbol{\Lambda}^{-1}\boldsymbol{z})\text{d}\boldsymbol{z} \end{align}
设 z=∑Nn=1znen\boldsymbol{z}=\sum_{n=1}^Nz_n\boldsymbol{e}_n，其中 en∈RN\boldsymbol{e}_n\in \mathbb{R}^N表示只有第 nn个元素为1，其余都为0的NN维向量。 znz_n表示矢量 z\boldsymbol{z}的第 nn个元素。则上式可以表示为

E[ZZT]=1det(Λ)−−−−−−√(2π)N/2∫z∑i=1N∑j=1NzizjeieTjexp⎡⎣−12(∑i=1Nziei)TΛ−1(∑j=1Nzjzj)⎤⎦dz=1det(Λ)−−−−−−√(2π)N/2∫z∑i=1N∑j=1NzizjeieTjexp⎛⎝−12∑i=1N∑j=1NzizjeTiΛ−1ej⎞⎠dz=1det(Λ)−−−−−−√(2π)N/2∫z∑i=1N∑j=1NzizjeieTjexp⎡⎣−12∑i=1,Nz2ieTiΛ−1ei⎤⎦dz=1det(Λ)−−−−−−√(2π)N/2∫z∑i=1Nz2ieieTiexp⎡⎣−12∑i=1,Nz2ieTiΛ−1ei⎤⎦dz=∑i=1NΛieieTi=Λ

\begin{align} \mathbb{E}[\boldsymbol{Z}\boldsymbol{Z}^T] &=\frac{1}{\sqrt{\det (\boldsymbol{\Lambda})}(2\pi)^{N/2}}\int_{\boldsymbol{z}} \sum\limits_{i=1}^N\sum\limits_{j=1}^N z_iz_j\boldsymbol{e}_i\boldsymbol{e}_j^T\exp \left[{-\frac{1}{2}(\sum_{i=1}^Nz_i\boldsymbol{e}_i)^T\boldsymbol{\Lambda}^{-1}(\sum\limits_{j=1}^Nz_j\boldsymbol{z}_j)}\right]\text{d}\boldsymbol{z}\\ &=\frac{1}{\sqrt{\det (\boldsymbol{\Lambda})}(2\pi)^{N/2}}\int_{\boldsymbol{z}} \sum\limits_{i=1}^N\sum\limits_{j=1}^N z_iz_j\boldsymbol{e}_i\boldsymbol{e}_j^T\exp \left({-\frac{1}{2}\sum\limits_{i=1}^N\sum\limits_{j=1}^Nz_iz_j\boldsymbol{e}_i^T\boldsymbol{\Lambda}^{-1}\boldsymbol{e}_j}\right)\text{d}\boldsymbol{z}\\ &=\frac{1}{\sqrt{\det (\boldsymbol{\Lambda})}(2\pi)^{N/2}}\int_{\boldsymbol{z}} \sum\limits_{i=1}^N\sum\limits_{j=1}^N z_iz_j\boldsymbol{e}_i\boldsymbol{e}_j^T\exp \left[{-\frac{1}{2}\sum\limits_{i=1,}^Nz_i^2\boldsymbol{e}_i^T\boldsymbol{\Lambda}^{-1}\boldsymbol{e}_i}\right]\text{d}\boldsymbol{z}\\ &=\frac{1}{\sqrt{\det (\boldsymbol{\Lambda})}(2\pi)^{N/2}}\int_{\boldsymbol{z}} \sum\limits_{i=1}^Nz_i^2\boldsymbol{e}_i\boldsymbol{e}_i^T\exp \left[{-\frac{1}{2}\sum\limits_{i=1,}^Nz_i^2\boldsymbol{e}_i^T\boldsymbol{\Lambda}^{-1}\boldsymbol{e}_i}\right]\text{d}\boldsymbol{z}\\ &=\sum\limits_{i=1}^N{\Lambda}_i\boldsymbol{e}_i\boldsymbol{e}_i^T\\ &=\boldsymbol{\Lambda} \end{align}
(3)概率归’1’性，即证

∫xexp[−12(x−μ)TΣ−1(x−μ)]dx=?det(Σ)−−−−−−√(2π)N/2

\begin{align} \int_{\boldsymbol{x}}\exp\left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right]\text{d}\boldsymbol{x}\overset{?}{=}\sqrt{\det ({\boldsymbol{\Sigma}})}(2\pi)^{N/2} \end{align}
由于 Σ−1\boldsymbol{\Sigma}^{-1}正定，因此存在非奇异矩阵 A\boldsymbol{A}，使得 Σ−1=ATA\boldsymbol{\Sigma}^{-1}=\boldsymbol{A}^T\boldsymbol{A}，令 y=A(x−μ)\boldsymbol{y}=\boldsymbol{A}(\boldsymbol{x}-\boldsymbol{\mu})，其雅克比行列式为 J=det(A−1)=det(Σ)−−−−−−√\boldsymbol{J}=\det(\boldsymbol{A}^{-1})=\sqrt{\det(\boldsymbol{\Sigma})}

∫xexp[−12(x−μ)TΣ−1(x−μ)]dx=detΣ−−−−−√∫yexp[−12yTy]dy=det(Σ)−−−−−−√(∫+∞−∞exp(−12y2)dy)n=det(Σ)−−−−−−√(2π)N/2

\begin{align} \int_{\boldsymbol{x}}\exp\left[{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\boldsymbol{x}-\boldsymbol{\mu})}\right]\text{d}\boldsymbol{x} &=\sqrt{\det{\boldsymbol{\Sigma}}}\int_{\boldsymbol{y}}\exp\left[{-\frac{1}{2}\boldsymbol{y}^T\boldsymbol{y}}\right]\text{d}\boldsymbol{y}\\ &=\sqrt{\det (\boldsymbol{\Sigma})} \left({\int_{-\infty}^{+\infty}\exp(-\frac{1}{2}y^2)\text{d}y}\right)^n\\ &=\sqrt{\det (\boldsymbol{\Sigma})}(2\pi)^{N/2} \end{align}

5. 多元高斯PDF的乘积

引理：

若N(x|a,A),N(x|b,B)\mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A}), \mathcal{N}(\boldsymbol{x}|\boldsymbol{b},\boldsymbol{B})，则有

N(x,a,A)N(x,b,B)=N(0,a−b,A+B)N(x,(A−1+B−1)−1(A−1a+B−1b),(A−1+B−1)−1)

\begin{align} \mathcal{N}(\boldsymbol{x},\boldsymbol{a},\boldsymbol{A})\mathcal{N}(\boldsymbol{x},\boldsymbol{b},\boldsymbol{B})=\mathcal{N}(0,\boldsymbol{a}-\boldsymbol{b},\boldsymbol{A}+\boldsymbol{B})\mathcal{N}\left({\boldsymbol{x},(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b}),(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}}\right) \end{align}
证明：
(1)指数部分

∝∝N(x,a,A)N(x,b,B)exp[−12(xT(A−1+B−1)x−xT(A-1a+B−1b)−(aTA+bTB)xT−aTA−1a−bTB−1b)]exp[−12(x−(A−1+B−1)−1(A−1a+b−1B))T(A−1+B−1)(x−(A−1+B−1)−1(A−1a+B−1a))]×exp[−12(aTA−1a+bTB−1b−(A−1a+B−1b)T(A+B−1)−1(A−1a+B−1b))](a)

\begin{align} &\mathcal{N}(\boldsymbol{x},\boldsymbol{a},\boldsymbol{A})\mathcal{N}(\boldsymbol{x},\boldsymbol{b},\boldsymbol{B})\\ \propto &\exp\left[{-\frac{1}{2}(\boldsymbol{x}^\text{T}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})\boldsymbol{x}-\boldsymbol{x}^\text{T}(\boldsymbol{A}^\text{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b})-(\boldsymbol{a}^\text{T}\boldsymbol{A}+\boldsymbol{b}^\text{T}\boldsymbol{B})\boldsymbol{x}^\text{T}-\boldsymbol{a}^\text{T}\boldsymbol{A}^{-1}\boldsymbol{a}-\boldsymbol{b}^\text{T}\boldsymbol{B}^{-1}\boldsymbol{b})}\right]\\ \propto&\exp\left[{-\frac{1}{2}(\boldsymbol{x}-(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{b}^{-1}\boldsymbol{B}))^\text{T}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})(\boldsymbol{x}-(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{a}))}\right]\\ &\times \underbrace{\exp\left[{-\frac{1}{2}(\boldsymbol{a}^\text{T}\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{b}^\text{T}\boldsymbol{B}^{-1}\boldsymbol{b}-(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b})^\text{T}(\boldsymbol{A}+\boldsymbol{B}^{-1})^{-1}(\boldsymbol{A}^{-1}\boldsymbol{a}+\boldsymbol{B}^{-1}\boldsymbol{b}))}\right]}_{(a)} \end{align}
其中 (a)(a)部分，合并同类项，有

====aTA−1a−aTA−1(A−1+A−1)−1A−1aaT[A−1(A−1+B−1)−1(A−1+B−1)−A−1(A−1+B−1)A−1]aaTA−1(A−1+B−1)−1B−1aaT[B(A−1+B−1)A]−1aaT(A+B)−1a

\begin{align} &\boldsymbol{a}^\text{T}\boldsymbol{A}^{-1}\boldsymbol{a}-\boldsymbol{a}^\text{T}\boldsymbol{A}^{-1}(\boldsymbol{A}^{-1}+\boldsymbol{A}^{-1})^{-1}\boldsymbol{A}^{-1}\boldsymbol{a}\\ =&\boldsymbol{a}^\text{T}[\boldsymbol{A}^{-1}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})-\boldsymbol{A}^{-1}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})\boldsymbol{A}^{-1}]\boldsymbol{a}\\ =&\boldsymbol{a}^\text{T}\boldsymbol{A}^{-1}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}\boldsymbol{B}^{-1}\boldsymbol{a}\\ =&\boldsymbol{a}^\text{T}\left[{\boldsymbol{B}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})\boldsymbol{A}}\right]^{-1}\boldsymbol{a}\\ =&\boldsymbol{a}^\text{T}\left({\boldsymbol{A}+\boldsymbol{B}}\right)^{-1}\boldsymbol{a} \end{align}

==bTB−1(A−1+B−1)−1B−1bbT[B(A−1+B−1)B]−1bbT[A+B]−1b

\begin{align} &\boldsymbol{b}^\text{T}\boldsymbol{B}^{-1}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}\boldsymbol{B}^{-1}\boldsymbol{b}\\ =&\boldsymbol{b}^\text{T}\left[{\boldsymbol{B}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})\boldsymbol{B}}\right]^{-1}\boldsymbol{b}\\ =&\boldsymbol{b}^\text{T}\left[{\boldsymbol{A}+\boldsymbol{B}}\right]^{-1}\boldsymbol{b} \end{align}
(a)(a)部分可以写为

exp[−12(a−b)T(A+B)−1(a−b)]

\begin{align} \exp\left[{-\frac{1}{2}(\boldsymbol{a}-\boldsymbol{b})^\text{T}(\boldsymbol{A}+\boldsymbol{B})^{-1}(\boldsymbol{a}-\boldsymbol{b})}\right] \end{align}
(2) 系数部分

⇒⇒⇒|AB|=|A+B||(A−1+B−1)−1||A−1+B−1||A+B||AB(A−1+B−1)|=|A+B||A+B|=|A+B|

\begin{align} &|\boldsymbol{AB}|=|\boldsymbol{A}+\boldsymbol{B}||(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})^{-1}|\\ \Rightarrow& |\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1}||\boldsymbol{A}+\boldsymbol{B}|\\ \Rightarrow& |\boldsymbol{AB}(\boldsymbol{A}^{-1}+\boldsymbol{B}^{-1})|=|\boldsymbol{A}+\boldsymbol{B}|\\ \Rightarrow& |\boldsymbol{A}+\boldsymbol{B}|=|\boldsymbol{A}+\boldsymbol{B}| \end{align}
证毕。

6. 瑞利分布与莱斯分布

标量高斯X,YX,Y的联合概率密度函数如下

fX,Y(x,y)=12πσ1σ21−ρ2−−−−−√exp{−12(1−ρ2)[(x−μ1σ1)2−2ρ(x−μσ1)(y−μ2σ2)+(y−μ2σ2)2]}

\begin{equation} f_{X,Y}(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left\{{-\frac{1}{2(1-\rho^2)}\left[{\left({\frac{x-\mu_1}{\sigma_1}}\right)^2-2\rho \left({\frac{x-\mu}{\sigma_1}}\right)\left({\frac{y-\mu_2}{\sigma_2}}\right)+\left({\frac{y-\mu_2}{\sigma_2}}\right)^2}\right]}\right\} \end{equation}
假设 XX和YY相互独立，因此 ρ=0\rho=0，对应联合概率密度函数可以写为

fX,Y(x,y)=12πσ1σ2exp{−12[(x−μ1σ1)2+(y−μ2σ2)2]}

\begin{equation} f_{X,Y}(x,y)=\frac{1}{2\pi\sigma_1\sigma_2}\exp\left\{{-\frac{1}{2}\left[{\left({\frac{x-\mu_1}{\sigma_1}}\right)^2+\left({\frac{y-\mu_2}{\sigma_2}}\right)^2}\right]}\right\} \end{equation}
令 μ1=pcosϕ,μ2=psinϕ\mu_1=p\cos\phi,\mu_2=p\sin\phi，有

fX,Y(x,y)=12πσ2exp{−12σ2(x2+y2+p2−2xpcosϕ−2xpsinϕ)}

\begin{equation} f_{X,Y}(x,y)=\frac{1}{2\pi\sigma^2}\exp\left\{{-\frac{1}{2\sigma^2}\left({x^2+y^2+p^2-2xp\cos\phi-2xp\sin\phi}\right)}\right\} \end{equation}
令 R=X2+Y2−−−−−−−√R=\sqrt{X^2+Y^2} ，利用极坐标

X=RcosθY=Rsinθ

\begin{equation} X=R\cos\theta \qquad Y=R\sin\theta \end{equation}
得到幅度与相位 (R,Θ)(R,\Theta)的联合概率密度函数

fR(r)===r2πσ2∫2π0exp[−12σ2(r2+ρ2−2rρcos(ϕ−θ))]rσ2exp(−r2+ρ22σ2)[12π∫2π0exp(rpσ2cos(ϕ−θ))]rσ2exp(−r2+ρ22σ2)I0(rpσ2)r≥0

\begin{eqnarray} f_R(r)&=&\frac{r}{2\pi\sigma^2}\int_{0}^{2\pi}\exp\left[{-\frac{1}{2\sigma^2}\left({r^2+\rho^2-2r\rho cos(\phi-\theta)}\right)}\right]\\ &=&\frac{r}{\sigma^2}\exp\left({-\frac{r^2+\rho^2}{2\sigma^2}}\right)\left[{\frac{1}{2\pi}{\int_{0}^{2\pi}{\exp\left({\frac{rp}{\sigma^2}\cos(\phi-\theta)}\right)}}}\right]\\ &=&\frac{r}{\sigma^2}\exp\left({-\frac{r^2+\rho^2}{2\sigma^2}}\right)I_0\left({\frac{rp}{\sigma^2}}\right) \quad r\geq 0 \end{eqnarray}
称 fR(r)f_R(r)莱斯分布， I0(z)I_0(z)是修正的零阶贝塞尔函数

I0(z)=12π∫2π0exp(zcosθ)dθ

\begin{equation} I_0(z)=\frac{1}{2\pi}\int_{0}^{2\pi}\exp(z\cos\theta)d\theta \end{equation}
如果 p=0p=0，即 XX 与 YY的均值为0，则幅度与相位的联合分布 (R,Θ)(R,\Theta)为

fR,Θ(r,θ)=r2πσ2exp(−r22σ2)

\begin{equation} f_{R,\Theta}(r,\theta)=\frac{r}{2\pi\sigma^2}\exp\left({-\frac{r^2}{2\sigma^2}}\right) \end{equation}
对 rr积分，得到相位的边缘分布

fΘ(θ)=12πθ∈[0,2π]

\begin{equation} f_{\Theta}(\theta)=\frac{1}{2\pi} \quad \theta\in [0,2\pi] \end{equation}
因此相位的分布为均匀分布。对相位 θ\theta积分, 得到幅度的边缘分布

fR(r)=rσ2exp(−r22σ2)r>0

\begin{equation} f_R(r)=\frac{r}{\sigma^2}\exp\left({-\frac{r^2}{2\sigma^2}}\right) \quad r>0 \end{equation}
称该分布为瑞利分布。显然

fR,Θ(r,θ)=fR(r)fΘ(θ)

\begin{equation} f_{R,\Theta}(r,\theta)=f_R(r)f_\Theta(\theta) \end{equation}
即幅度 RR与相位Θ\Theta统计独立。

7. 应用

（1）高斯相乘引理在信号检测中的应用
若发送信号X∼N(x|a,A)\boldsymbol{X}\sim \mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A}), 噪声w∼N(0,Σ)\boldsymbol{w}\sim \mathcal{N}(\boldsymbol{0},\boldsymbol{\Sigma})

y=Hx+w

\begin{align} \boldsymbol{y}=\boldsymbol{Hx}+\boldsymbol{w} \end{align}
则该模型下（ H∈RM×N,M<N\boldsymbol{H}\in \mathbb{R}^{M\times N}, M），信号 x\boldsymbol{x}的最小均方误差估计为

x^=(HTΣ−1H+A−1)−1(HTΣ−1HH+y+A−1a)

Mode details

\begin{align} p(\boldsymbol{x}|\boldsymbol{y}) &\propto p(\boldsymbol{y}|\boldsymbol{x})p(\boldsymbol{x})\\ &=\mathcal{N}(\boldsymbol{y}|\boldsymbol{Hx},\boldsymbol{\Sigma})\mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\\ &\propto \mathcal{N}(\boldsymbol{x}|\boldsymbol{H}^{+}\boldsymbol{y},(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H})^{-1})\mathcal{N}(\boldsymbol{x}|\boldsymbol{a},\boldsymbol{A})\\ &\propto \mathcal{N}(\boldsymbol{x}|(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H}+\boldsymbol{A}^{-1})^{-1}(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H}\boldsymbol{H}^{+}\boldsymbol{y}+\boldsymbol{A}^{-1}\boldsymbol{a}), (\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H}+\boldsymbol{A}^{-1})^{-1}) \end{align}
特别地，若 X∼N(0,I)\boldsymbol{X}\sim \mathcal{N}(0,\mathbf{I})， w∼N(0,σ2wI)\boldsymbol{w}\sim \mathcal{N}(0,\sigma_w^2\mathbf{I})，则有

x^=(HTΣ−1H+A−1)−1(HTΣ−1HH+y+A−1a)=(HTH+σ2wI)−1HTy

\begin{align} \hat{\boldsymbol{x}}=(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H}+\boldsymbol{A}^{-1})^{-1}(\boldsymbol{H}^T\boldsymbol{\Sigma}^{-1}\boldsymbol{H}\boldsymbol{H}^{+}\boldsymbol{y}+\boldsymbol{A}^{-1}\boldsymbol{a})=(\boldsymbol{H}^T\boldsymbol{H}+\sigma_w^2\mathbf{I})^{-1}\boldsymbol{H}^T\boldsymbol{y} \end{align}
上述表达式想来也不陌生。事实上，信号 x\boldsymbol{x}采用QAM调制，因此 PX(x)=1Mδ(x−Ω)P_X(x)=\frac{1}{M}\delta(\boldsymbol{x}-\Omega)。这里仅仅举一个例子而已。

高斯PDF的性质及其推论相关推荐

【线性代数（3）】行列式的七大性质及推论
行列式的性质 1 转置转置特性: ((DT)T)⇒D\mathbf{((D^{T})^{T}) \Rightarrow D}((DT)T)⇒D 性质(1): DT=D\mathbf{D^{T} = ...
Fibonacci 数列和 Lucas 数列的性质、推论及其证明
Fibonacci 数列设 f ( x ) = 1 , x ∈ { 1 , 2 } = f ( x − 1 ) + f ( x − 2 ) , x ∈ [ 3 , ∞ ) \begin{aligne ...
线性代数_3、行列式的七大性质及推论
性质(1): DTD^TDT=D 转置定义:就是把行列进行调换,行变成列,列变成行表述方式DTD^TDT 例: 性质(2):行列式的两行(列)互换,值变号比如将下面的行列式的第一行和第三行进行调 ...
matlab舍选法编程,利用舍选抽样法生成随机数.pdf
利用舍选抽样法生成随机数.pdf 2013年11月重庆师范大学学报(自然科学版) Nov-2013 笙!!鲞笙!塑 !!!:!!!!!:! !!::!!!!!呈!!竺!竺!些!:竺!!!!!!:!! ...
高斯函数的matlab表达式,高斯函数在图像处理中的应用
高斯函数简介谓径向基函数 (Radial Basis Function 简称 RBF), 就是某种沿径向对称的标量函数. 通常定义为空间中任一点x到某一中心xc之间欧氏距离的单调函数 , 可记作 k ...
第5章 Python 数字图像处理(DIP) - 图像复原与重建1 - 高斯噪声
本章主要讲图像复原与重建,首先是了解一下各种噪声的特点与模型,还有形成的方法.一些重点的噪声,如高斯噪声,均匀噪声,伽马噪声,指数噪声,还有椒盐噪声等. 本章主要的噪声研究方法主要是加性噪声. 标题 ...
定积分的性质——定积分的基本性质
定积分的基本性质性质1 性质2 性质1与性质2结合性质3 注性质4 积分区间可加性性质5 推论(积分不等式性) 性质6 注性质1 性质2 性质1与性质2结合性质3 注性质4 积分区间可加 ...
图像处理：高斯滤波算法
目录前言概念介绍基本原理卷积核的大小卷积核的形状和权重比卷积核的归一化结论 Opencv实现高斯滤波 Python手写实现高斯滤波参考文章前言在此之前,我曾在此篇中推导过图像处理: ...
1.2 行列式的性质和计算
学习目标: 当学习行列式性质和计算时,以下是一些具体的学习目标: 理解行列式的定义和计算方法,能够准确计算给定的行列式.(最基本的) 熟练掌握行列式的基本性质,包括交换行列式的两行或两列.用一个数乘行 ...

高斯PDF的性质及其推论