多元正态分布

多元正态分布的密度函数如下：

fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{k}}|\Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu)) (1)
其对应的矩母函数（也有称动差函数）为 exp(μTt+12tTΣt)exp(\mu^{T}t+\frac{1}{2}t^{T}\Sigma t)。事实上，如果随机向量 [X1,...Xn][X_{1},...X_{n}]满足上面的动差函数，那么我们就称随机向量 [X1,...Xn][X_{1},...X_{n}]服从多元高斯分布。具体地证明可以看这里。

多元正态分布的条件密度

令随机向量[X1,...Xn][X_{1},...X_{n}]服从多元高斯分布。我们可以推导XnX_{n}在给定X1,...Xn−1X_{1},...X_{n-1}的情况下的条件密度分布：

f(xn|x1,...,xn−1)=f(x1,...,xn−1,xn)f(x1,...,xn−1)f(x_{n}|x_{1},...,x_{n-1})=\frac{f(x_{1},...,x_{n-1},x_{n})}{f(x_{1},...,x_{n-1})} (2)，
其中 f(x1,...,xn)=(2π)−n/2(|Σ|−1/2)exp[−12∑ni,j=1yiqijyj]f(x_{1},...,x_{n})=(2\pi)^{-n/2}(|\Sigma|^{-1/2})exp[-\frac{1}{2}\sum_{i,j=1}^{n}y_{i}q_{ij}y_{j}] (3)
其中 Q=Σ−1=[qij],yi=xi−μiQ=\Sigma^{-1}=[q_{ij}],y_{i}=x_{i}-\mu_{i}。同样地，
f(x1,...,xn−1)=∫∞∞f(x1,...,xn−1,xn)dxn=B(y1,...,yn−1)f(x_{1},...,x_{n-1})=\int_\infty^\infty {f(x_{1},...,x_{n-1},x_{n})}\,dx_{n}=B(y_{1},...,y_{n-1}) (4).
现在我们将公式(3)中的求和项进行分解，有：
∑ni,j=1yiqijyj=∑n−1i,j=1yiqijyj+yn∑n−1j=1qnjyj+yn∑n−1i=1qinyj+qnny2n\sum_{i,j=1}^{n}y_{i}q_{ij}y_{j}=\sum_{i,j=1}^{n-1}y_{i}q_{ij}y_{j}+y_{n}\sum_{j=1}^{n-1}q_{nj}y_{j}+y_{n}\sum_{i=1}^{n-1}q_{in}y_{j}+q_{nn}y_{n}^{2}(5)
因此，最终地条件分布具有如下的形式：
A(y1,...,yn−1)B(y1,...,yn−1)exp[−(Cy2n+D(y1,...,yn−1)yn)]\frac{A(y_{1},...,y_{n-1})}{B(y_{1},...,y_{n-1})}exp[-(Cy_{n}^{2}+D(y_{1},...,y_{n-1})y_{n})] (6)
其中 C=(1/2)qnnC=(1/2)q_{nn}，因为 Q=Σ−1Q=\Sigma^{-1}是对称矩阵，所以 D=∑n−1j=1qnjyj=∑n−1i=1qinyiD=\sum_{j=1}^{n-1}q_{nj}y_{j}=\sum_{i=1}^{n-1}q_{in}y_{i}.(6)式又可以进一步表示称如下的式子：
[ABexp(DD24C)]exp[−(yn+D2C)2]1C[\frac{A}{B}exp(\frac{DD^{2}}{4C})]exp[-\frac{(y_{n}+\frac{D}{2C})^{2}]}{\frac{1}{C}} (7)
从公式(7)很容看出 xnx_{n}的条件密度函数是服从正态分布的。
所以条件分布的方差为： 2Var(Xn|X1,...,Xn−1)=1/C2Var(X_{n}|X_{1},...,X_{n-1})=1/C，进一步有： Var(Xn|X1,...,Xn−1)=12C=1qnnVar(X_{n}|X_{1},...,X_{n-1})=\frac{1}{2C}=\frac{1}{q_{nn}}
均值为：
E(Xn|X1,...,Xn−1)=μn−D2C=μn−1qnn∑n−1j=1qnj(Xj−μj)E(X_{n}|X_{1},...,X_{n-1})=\mu_{n}-\frac{D}{2C}=\mu_{n}-\frac{1}{q_{nn}}\sum_{j=1}^{n-1}q_{nj}(X_{j}-\mu_{j})
这就说明了再抽样多元正态分布时，如果已知了其它维度的随机变量值， 剩下的那个维度的随机变量也是服从正态分布。

关于多元正态分布的条件概率密度相关推荐

多元正太分布条件密度
原文来自师兄的博文:http://blog.csdn.net/wjj5881005/article/details/53320403 多元正态分布多元正态分布的条件密度多元正态分布多元正态分布的 ...
UA MATH564 概率论VI 数理统计基础2 多元正态分布
UA MATH564 概率论VI 数理统计基础2 多元正态分布矩母函数概率密度多元正态分布的矩条件分布独立性抽样分布简单地说就是统计量服从的分布,正态分布时最常用的总体分布,因此研究正态总 ...
【ML学习笔记】17：多元正态分布下极大似然估计最小错误率贝叶斯决策
简述多元正态分布下的最小错误率贝叶斯如果特征的值向量服从d元正态分布,即其概率密度函数为: 即其分布可以由均值向量和对称的协方差矩阵唯一确定. 如果认为样本的特征向量在类内服从多元正态分布: 即对 ...
【应用多元统计分析】CH3 多元正态分布
目录一.多元正态分布的定义 1.定义 2.二元正态分布二.多元正态分布的性质 [property1*] [property2] [property3] [property4] [property5 ...
透彻理解多元正态分布
文章目录前言多元标准正态分布多元一般正态分布缩放与位移相同尺度缩放与位移不同尺度旋转变换多元正态分布的概率密度函数多元正态分布的性质本篇内容主要是对于基本书籍教材多元正态分布相关章节 ...
两个多元正态分布的KL散度、巴氏距离和W距离
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP.神经网络正态分布是最常见的连续型概率分布之一.它是给定均值和协方差后的最大熵分布(参考<&quo ...
【多元统计分析】02.多元正态分布
文章目录二.多元正态分布 1.多元正态分布的定义 2.多元正态分布分量独立性 3.多元正态分布的条件分布 4.最佳预测回顾总结二.多元正态分布 1.多元正态分布的定义由大数定律,自然界中许多随 ...
R语言学习——一元与多元正态分布检验(也可以用于其他分布的检验)
文章目录 1 一元正态的评估 1.1 图像法 1.1.1 直方图 1.1.2 Q-Q图 1.2 峰度和偏度 1.3 统计检验 1.3.1 Shapiro-Wilks检验 1.3.2 Kolmogoro ...
多元正态分布（Multivariate normal distribution）
多元正态分布(Multivariate normal distribution) 前言我们通常讨论正态分布都是在一元(univariate)的情况下,相信下面的定义大家都很熟悉了:假设随机变量XXX ...
协方差矩阵与多元正态分布
文章目录协方差矩阵协方差协方差矩阵多元正态分布协方差矩阵的特征值分解协方差矩阵协方差在统计学中,方差用来度量单个随机变量的离散程度,而协方差用来刻画两个随机变量的相似程度,方差的计算公 ...

关于多元正态分布的条件概率密度

多元正态分布

多元正态分布的条件密度

关于多元正态分布的条件概率密度相关推荐

最新文章

热门文章