多元正态分布（Multivariate normal distribution）

前言

我们通常讨论正态分布都是在一元（univariate）的情况下，相信下面的定义大家都很熟悉了：假设随机变量XXX服从正态分布，则XXX具有概率密度函数：
f(x)=(2πσ)−1exp(−(x−μ)22σ2)f(x)=(\sqrt{2\pi}\sigma)^{-1}\text{exp}(-\frac{(x-\mu)^2}{2\sigma^2}) f(x)=(2πσ)−1exp(−2σ2(x−μ)2)
其中μ\muμ表示XXX的均值，σ2\sigma^2σ2表示其方差。

有不少读者应该也看到过下面这个公式：
f(x1,x2)=(2πσ1σ21−ρ2)−1exp[−12(1−ρ2)((x1−μ1)2σ12−2ρ(x1−μ1)(x2−μ2)σ1σ2+(x2−μ2)2σ22)]\begin{aligned} f(x_1,x_2)=&(2\pi\sigma_1\sigma_2\sqrt{1-\rho^2} )^{-1}\text{exp}[-\frac{1}{2(1-\rho^2)}(\frac{(x_1-\mu_1)^2}{\sigma_1^2}\\ &-\frac{2\rho(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2}+\frac{(x_2-\mu_2)^2}{\sigma_2^2})] \end{aligned} f(x1,x2)=(2πσ1σ21−ρ2)−1exp[−2(1−ρ2)1(σ12(x1−μ1)2−σ1σ22ρ(x1−μ1)(x2−μ2)+σ22(x2−μ2)2)]
没错，这正是将正态分布拓展到二维的情况，即：
X=[X1,X2]TX=[X_1,X_2]^T X=[X1,X2]T
其中X1X_1X1,X2X_2X2分别服从正态分布。

有不少读者应该和我一样，看到这个二维的公式就头痛了，这他娘的一堆是啥玩意儿啊？老实说把上面的公式准确的打出来还花费了我不少功夫，可见公式之复杂，如果再往三元以上，简直不敢想象了。

由于许多本文许多内容我是从wikipedia看的，现学现卖，自己也是似懂非懂，不敢误人子弟，只能把自己确定的一些心得写一写，以作备忘，如果可以，也能给一些同有此问的后来者一些帮助。

多元正态分布

假设X=(X1,X2,⋯,Xk)TX=(X_1,X_2,\cdots,X_k)^TX=(X1,X2,⋯,Xk)T是一个kkk维的列向量，服从多元正态分布，我们可以把它记做：
X∼N(μ,Σ)X\sim N(\mu,\Sigma) X∼N(μ,Σ)
其中，
μ=E(X)=(μ1,μ2,⋯,μk)Σi,j=Cov(Xi,Xj)\begin{aligned} &\mu=E(X)=(\mu_1,\mu_2,\cdots,\mu_k)\\ &\Sigma_{i,j}=Cov(X_i,X_j) \end{aligned} μ=E(X)=(μ1,μ2,⋯,μk)Σi,j=Cov(Xi,Xj)
对于多元随机变量，我们最关心的是它的概率函数，当上述协方差矩阵是正定的（positive definite），分布才有概率密度函数，这种情况被称为“非退化的”（non-degenerate）。这里笔者亦不甚解，猜测大概和协方差矩阵Σ\SigmaΣ是否可逆有关。

如果多元正态分布的概率密度函数存在，它被定义如下：
f(x1,x2,⋯,xk)=exp(−12(x−μ)TΣ−1(x−μ))(2π)k∣Σ∣f(x_1,x_2,\cdots,x_k)=\frac{\text{exp}(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))}{\sqrt{(2\pi)^k|\Sigma|}} f(x1,x2,⋯,xk)=(2π)k∣Σ∣exp(−21(x−μ)TΣ−1(x−μ))
其中∣Σ∣|\Sigma|∣Σ∣表示协方差矩阵的行列式（determinant)。

二元情况的推导

我们根据上面多元正态分布概率密度函数的定义，来求一求二元(bivariate)的情况，即令kkk=2。

此时x=(x1,x2)T,μ=(μ1,μ2)Tx=(x_1,x_2)^T,\mu=(\mu_1,\mu_2)^Tx=(x1,x2)T,μ=(μ1,μ2)T。
Σ=(σ12ρσ1σ2ρσ1σ2σ22)\Sigma= \begin{pmatrix} \sigma_1^2&\rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2&\sigma_2^2 \end{pmatrix} Σ=(σ12ρσ1σ2ρσ1σ2σ22)
其中ρ\rhoρ为相关系数，定义为：
ρ=Cov(X1,X2)σ2σ2\rho=\frac{Cov(X_1,X_2)}{\sigma_2\sigma_2} ρ=σ2σ2Cov(X1,X2)
对于2×22\times22×2的矩阵A，如果:
A=(abcd)A= \begin{pmatrix} a&b\\ c&d \end{pmatrix} A=(acbd)
通常有：
A−1=1ad−bc(d−b−ca)A^{-1}=\frac{1}{ad-bc} \begin{pmatrix} d&-b\\ -c&a \end{pmatrix} A−1=ad−bc1(d−c−ba)
根据上公式求得;
Σ−1=1(1−ρ2)σ12σ22(σ22−ρσ1σ2−ρσ1σ2σ12)\Sigma^{-1} =\frac{1}{(1-\rho^2)\sigma_1^2\sigma_2^2} \begin{pmatrix} \sigma_2^2&-\rho\sigma_1\sigma_2\\ -\rho\sigma_1\sigma_2&\sigma_1^2 \end{pmatrix} Σ−1=(1−ρ2)σ12σ221(σ22−ρσ1σ2−ρσ1σ2σ12)
又：
∣Σ∣=(1−ρ2)σ12σ22|\Sigma|=(1-\rho^2)\sigma_1^2\sigma_2^2 ∣Σ∣=(1−ρ2)σ12σ22
代入上式得：
f(x1,x2)=exp(−12(x−μ)TΣ−1(x−μ))(2π)2∣Σ∣=1(2π2)(1−ρ2)σ12σ22exp(−12(x−μ)TΣ−1(x−μ))=12πσ1σ21−ρ2exp(−12(x−μ)TΣ−1(x−μ))\begin{aligned} f(x_1,x_2)&=\frac{\text{exp}(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))}{\sqrt{(2\pi)^2|\Sigma|}}\\ &=\frac{1}{\sqrt{(2\pi^2)(1-\rho^2)\sigma_1^2\sigma_2^2}}\text{exp}(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))\\ &=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\text{exp}(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))\\ \end{aligned} f(x1,x2)=(2π)2∣Σ∣exp(−21(x−μ)TΣ−1(x−μ))=(2π2)(1−ρ2)σ12σ221exp(−21(x−μ)TΣ−1(x−μ))=2πσ1σ21−ρ21exp(−21(x−μ)TΣ−1(x−μ))
其中：
(x−μ)TΣ−1(x−μ)=(x1−μ1,x2−μ2)1(1−ρ2)σ12σ22(σ22−ρσ1σ2−ρσ1σ2σ12)(x1−μ1,x2−μ2)T=1(1−ρ2)σ12σ22(σ22(x1−μ1)−ρσ1σ2(x2−μ2),σ12(x2−μ2)−ρσ1σ2(x2−μ2))(x1−μ1,x2−μ2)T=1(1−ρ2)σ12σ22[σ22(x1−μ1)2−2ρσ1σ2(x1−μ1)(x2−μ2)+σ12(x2−μ2)2]=1(1−ρ2)[(x1−μ12)σ12−2ρ(x1−μ1)(x2−μ2)σ1σ2+(x2−μ22)σ22]\begin{aligned} &(x-\mu)^T\Sigma^{-1}(x-\mu)\\ &=(x_1-\mu_1,x_2-\mu_2) \frac{1}{(1-\rho^2)\sigma_1^2\sigma_2^2} \begin{pmatrix} \sigma_2^2&-\rho\sigma_1\sigma_2\\ -\rho\sigma_1\sigma_2&\sigma_1^2 \end{pmatrix} (x_1-\mu_1,x_2-\mu_2)^T\\ &=\frac{1}{(1-\rho^2)\sigma_1^2\sigma_2^2}(\sigma_2^2(x_1-\mu_1)-\rho\sigma_1\sigma_2(x_2-\mu_2),\sigma_1^2(x_2-\mu_2)-\rho\sigma_1\sigma_2(x_2-\mu_2))(x_1-\mu_1,x_2-\mu_2)^T\\ &=\frac{1}{(1-\rho^2)\sigma_1^2\sigma_2^2}[\sigma_2^2(x_1-\mu_1)^2-2\rho\sigma_1\sigma_2(x_1-\mu_1)(x_2-\mu_2)+\sigma_1^2(x_2-\mu_2)^2]\\ &=\frac{1}{(1-\rho^2)}[\frac{(x_1-\mu_1^2)}{\sigma_1^2}-2\rho\frac{(x_1-\mu_1)(x_2-\mu_2)}{\sigma_1\sigma_2}+\frac{(x_2-\mu_2^2)}{\sigma_2^2}] \end{aligned} (x−μ)TΣ−1(x−μ)=(x1−μ1,x2−μ2)(1−ρ2)σ12σ221(σ22−ρσ1σ2−ρσ1σ2σ12)(x1−μ1,x2−μ2)T=(1−ρ2)σ12σ221(σ22(x1−μ1)−ρσ1σ2(x2−μ2),σ12(x2−μ2)−ρσ1σ2(x2−μ2))(x1−μ1,x2−μ2)T=(1−ρ2)σ12σ221[σ22(x1−μ1)2−2ρσ1σ2(x1−μ1)(x2−μ2)+σ12(x2−μ2)2]=(1−ρ2)1[σ12(x1−μ12)−2ρσ1σ2(x1−μ1)(x2−μ2)+σ22(x2−μ22)]
和上面的式子整合一下即可的到二元变量的概率密度。

参考资料

[1] Multivariate normal distribution

[2] 概率论与数理统计，陈希孺，中国科学技术大学出版社

多元正态分布（Multivariate normal distribution）相关推荐

正态分布（Normal distribution）与高斯分布（Gaussian distribution）
正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学.物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力. ...
正态分布（Normal distribution）又名高斯分布（Gaussian distribution）
正态分布(Normal distribution)又名高斯分布(Gaussian distribution),是一个在数学.物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力. ...
正态分布（normal distribution）与偏态分布（skewed distribution）
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! 存在正太 ...
机器学习（十六）——多元正态分布（The multivariate normal distribution）
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf n维的多元正态分布,也称为多元高斯分布,是用均值向量和协方差矩阵参数化的,其中Σ≥0是对称的和正 ...
多元高斯分布(Multivariate Gaussian Distribution)
from:https://www.jianshu.com/p/d6c8ca915f69 还是对计算机的监测,我们发现CPU负载和占用内存之间,存在正相关关系. CPU负负载增加的时候占用内存也会增加: ...
[转载] python numpy.random.randn()与numpy.random.rand()的区别 (正态分布公式)（标准正态分布 standard normal distribution
参考链接: Python中的numpy.random.randn 引用文章: numpy.random.randn()与numpy.random.rand()的区别 https://www.cnblo ...
n元（维）正态分布（The multivariate normal distribution）
在学习高斯判别分析(Gaussian discriminant analysis)时,出现了n元正态分布的密度函数,函数中出现了矩阵,弄得大家一头雾水.其实这个公式在大部分概率论书籍中都没有提到, ...
多元伯努利分布 multivariate bernoulli distribution
今天看论文发现了一个名次,多元伯努利分布,百度好久也没查到明确的定义,去google了一下,发现其实就是基本概统里的一次伯努利试验推广到多次试验后的结果分布,如下图: 引用来源: https://w ...
二维正态分布的最大似然估计_机器学习系列（二）多元正态分布
一元正态分布回顾如果随机变量服从均值为方差为的正态分布 (Univariate normal distribution), ,则其概率密度函数为: 整个分布可以仅用均值及方差来刻画如果变量之 ...

多元正态分布（Multivariate normal distribution）

多元正态分布（Multivariate normal distribution）

前言

多元正态分布

二元情况的推导

参考资料

多元正态分布（Multivariate normal distribution）相关推荐

最新文章

热门文章