协方差矩阵与多元正态分布

文章目录

协方差矩阵
- 协方差
- 协方差矩阵
多元正态分布
- 协方差矩阵的特征值分解

协方差矩阵

协方差

在统计学中，方差用来度量单个随机变量的离散程度，而协方差用来刻画两个随机变量的相似程度，方差的计算公式
σx2=1n−1∑in(xi−xˉ)\sigma_x^2=\cfrac{1}{n-1}\sum\limits_i^n(x_i-\bar{x})σx2=n−11i∑n(xi−xˉ)
其中 nnn 表示样本数，xˉ\bar{x}xˉ 表示观测样本的均值。
协方差的计算公式定义为：
σ(x,y)=1n−1∑i=1n(xi−xˉ)(yi−yˉ)\sigma(x,y)=\cfrac{1}{n-1}\sum\limits_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})σ(x,y)=n−11i=1∑n(xi−xˉ)(yi−yˉ)
在公式中，xˉ,yˉ\bar{x},\bar{y}xˉ,yˉ分别表示两个随机变量对应的观测样本均值。
可以发现：

方差 σx2\sigma_x^2σx2 可视作随机变量 xxx 关于自身的协方差。

协方差矩阵

给定一个ddd维随机向量x=(x1,x2,⋯,xd)x=(x_1,x_2,\cdots,x_d)x=(x1,x2,⋯,xd)，则
σ(xm,xk)=1n−1∑i=1n(xmi−xˉm)(xki−xˉk)\sigma(x_m,x_k)=\cfrac{1}{n-1}\sum\limits_{i=1}^n(x_{mi}-\bar{x}_m)(x_{ki}-\bar{x}_k)σ(xm,xk)=n−11i=1∑n(xmi−xˉm)(xki−xˉk)
协方差矩阵为：
Σ=[σ(x1,x1)⋯σ(x1,xd)⋮⋱⋮σ(xd,x1)⋯σ(xd,xd)]\Sigma= \begin{bmatrix} \sigma(x_1,x_1) & \cdots & \sigma(x_1,x_d) \\ \vdots & \ddots & \vdots\\ \sigma(x_d,x_1) & \cdots & \sigma(x_d,x_d) \end{bmatrix} Σ=⎣⎢⎡σ(x1,x1)⋮σ(xd,x1)⋯⋱⋯σ(x1,xd)⋮σ(xd,xd)⎦⎥⎤
根据上述协方差矩阵的定义，矩阵Σ\SigmaΣ为对称矩阵(symmetric matrix)，其大小为 d×dd\times dd×d。

多元正态分布

假设一个向量xxx服从均值向量为μ\muμ的均值向量、协方差矩阵为Σ\SigmaΣ的多元正态分布(multi-variable Gaussian distribution)，则
p(x)=∣2πΣ∣−12exp⁡(−12(x−μ)TΣ−1(x−μ))p(x)=\vert{2\pi\Sigma}\rvert^{-\frac{1}{2}}\exp(-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu))p(x)=∣2πΣ∣−21exp(−21(x−μ)TΣ−1(x−μ))

令均值向量μ=0\mu=0μ=0，指数前的系数 ∣2πΣ∣−12\vert{2\pi\Sigma}\rvert^{-\frac{1}{2}}∣2πΣ∣−21为常数项，所以有
p(x)∝exp⁡(−12xTΣ−1x)p(x)\propto \exp(-\frac{1}{2}x^T\Sigma^{-1}x)p(x)∝exp(−21xTΣ−1x)

令xxx为二维随机向量x=(x1,x2)x=(x_1,x_2)x=(x1,x2)，其协方差矩阵为单位矩阵 I2I_2I2，则x1x_1x1和x2x_2x2的方差均为1，生成的散点图如下：

对于每个随机数，似然为：
L∝exp⁡(−12xTx)\mathcal{L}\propto\exp(-\cfrac{1}{2}x^Tx)L∝exp(−21xTx)
对图1的点进行一个线性变换：t=Axt=Axt=Ax，得到图2：

在上述变换中，矩阵AAA称为变换矩阵(transformation matrix)，将变换矩阵分解为两个矩阵。
尺度矩阵(scaling matrix)：
S=[s100s2]=[10012]S=\begin{bmatrix}s_1 & 0 \\ 0 & s_2\end{bmatrix}=\begin{bmatrix}1 & 0 \\ 0 & \frac{1}{2}\end{bmatrix}S=[s100s2]=[10021]
旋转矩阵(rotation matrix)：
R=[cos⁡θ−sin⁡θsin⁡θcos⁡θ]=[cos⁡π6−sin⁡π6sin⁡π6cos⁡π6]=[32−121232]R=\begin{bmatrix} \cos{\theta} & -\sin{\theta} \\ \sin{\theta} & \cos{\theta} \end{bmatrix}=\begin{bmatrix} \cos{\frac{\pi}{6}} & -\sin{\frac{\pi}{6}} \\ \sin{\frac{\pi}{6}} & \cos{\frac{\pi}{6}} \end{bmatrix}=\begin{bmatrix} \frac{\sqrt{3}}{2} & -\frac{1}{2} \\ \frac{1}{2} &\frac{\sqrt{3}}{2} \end{bmatrix}R=[cosθsinθ−sinθcosθ]=[cos6πsin6π−sin6πcos6π]=[2321−2123]

其中θ\thetaθ为逆时针旋转的度数。

变换矩阵、尺度矩阵和旋转矩阵的关系：A=RSA=RSA=RS

A=RS=[32−141234]A=RS=\begin{bmatrix} \frac{\sqrt{3}}{2} & -\frac{1}{4} \\ \frac{1}{2} &\frac{\sqrt{3}}{4} \end{bmatrix}A=RS=[2321−4143]

经过线性变换 t=Axt=Axt=Ax，ttt的分布：
将x=A−1tx=A^{-1}tx=A−1t 带入似然 L(x)\mathcal{L}(x)L(x)
L∝exp⁡(−12(A−1t)T(A−1t))=exp⁡(−12tT(ATA)−1t)\mathcal{L}\propto\exp(-\cfrac{1}{2}(A^{-1}t)^T(A^{-1}t))\\ =\exp(-\cfrac{1}{2}t^T(A^TA)^{-1}t)L∝exp(−21(A−1t)T(A−1t))=exp(−21tT(ATA)−1t)
可得，多元正态分布的协方差矩阵：
Σ=AAT=[131633163316716]\Sigma=AA^T=\begin{bmatrix} \frac{13}{16} & \frac{3\sqrt{3}}{16} \\ \frac{3\sqrt{3}}{16} &\frac{7}{16} \end{bmatrix}Σ=AAT=[161316331633167]

协方差矩阵的特征值分解

对于实对称矩阵Σ\SigmaΣ，必相似于对角矩阵，即存在可逆矩阵P，满足：
Σ=PΛPT\Sigma=P\Lambda P^TΣ=PΛPT
PPP的每一列为相互正交的特征向量，Λ\LambdaΛ为对角矩阵，特征值从大到小排列。

上述对称矩阵的分解可得：
Σ=(PΛ1/2)(PΛ1/2)T=AAT=(RS)(RS)T\Sigma=(P\Lambda^{1/2})(P\Lambda^{1/2})^T=AA^T=(RS)(RS)^TΣ=(PΛ1/2)(PΛ1/2)T=AAT=(RS)(RS)T
可得：
P=R=[cos⁡θ−sin⁡θsin⁡θcos⁡θ]=[32−121232]P=R=\begin{bmatrix} \cos{\theta} & -\sin{\theta} \\ \sin{\theta} & \cos{\theta} \end{bmatrix}=\begin{bmatrix} \frac{\sqrt{3}}{2} & -\frac{1}{2} \\ \frac{1}{2} &\frac{\sqrt{3}}{2} \end{bmatrix}P=R=[cosθsinθ−sinθcosθ]=[2321−2123]
Λ=SST=[s1200s22]=[10014]\Lambda=SS^T=\begin{bmatrix}s_1^2 & 0 \\ 0 & s_2^2 \end{bmatrix}=\begin{bmatrix}1 & 0 \\ 0 & \frac{1}{4}\end{bmatrix}Λ=SST=[s1200s22]=[10041]

所以，多元正态分布得概率密度由协方差矩阵的特征向量控制旋转(rotation)，特征值控制尺度(scale)，均值向量控制概率密度的均值。

关于矩阵在线性变换的理解，见下篇博客。

如何直观地理解「协方差矩阵」？

协方差矩阵与多元正态分布相关推荐

UA MATH564 概率论VI 数理统计基础2 多元正态分布
UA MATH564 概率论VI 数理统计基础2 多元正态分布矩母函数概率密度多元正态分布的矩条件分布独立性抽样分布简单地说就是统计量服从的分布,正态分布时最常用的总体分布,因此研究正态总 ...
numpy笔记整理 multivariate_normal（多元正态分布采样）
1 基本用法 np.random.multivariate_normal(mean, cov, size=None, check_valid=None, tol=None) 根据均值和协方差矩阵的情况 ...
两个多元正态分布的KL散度、巴氏距离和W距离
©PaperWeekly 原创 · 作者 | 苏剑林单位 | 追一科技研究方向 | NLP.神经网络正态分布是最常见的连续型概率分布之一.它是给定均值和协方差后的最大熵分布(参考<&quo ...
多元正态分布的极大似然估计
多元正态分布的极大似然估计 1. 一元正态分布的密度函数一元正态分布的密度函数表示为: f ( x ) = 1 ( 2 π ) σ e − ( x − μ ) 2 2 σ 2 f(x) = \fra ...
多元高斯分布是非参_多元高斯分布（多元正态分布）简介
多元高斯分布(多元正态分布)简介标签:#正态分布##统计基础##高斯分布# 时间:2017-01-28 23:02:43 作者:小木高斯分布(Gaussian Distribution),也称作是 ...
【ML学习笔记】17：多元正态分布下极大似然估计最小错误率贝叶斯决策
简述多元正态分布下的最小错误率贝叶斯如果特征的值向量服从d元正态分布,即其概率密度函数为: 即其分布可以由均值向量和对称的协方差矩阵唯一确定. 如果认为样本的特征向量在类内服从多元正态分布: 即对 ...
机器学习（十六）——多元正态分布（The multivariate normal distribution）
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf n维的多元正态分布,也称为多元高斯分布,是用均值向量和协方差矩阵参数化的,其中Σ≥0是对称的和正 ...
多元正态分布（Multivariate normal distribution）
多元正态分布(Multivariate normal distribution) 前言我们通常讨论正态分布都是在一元(univariate)的情况下,相信下面的定义大家都很熟悉了:假设随机变量XXX ...
【应用多元统计分析】CH3 多元正态分布
目录一.多元正态分布的定义 1.定义 2.二元正态分布二.多元正态分布的性质 [property1*] [property2] [property3] [property4] [property5 ...

协方差矩阵与多元正态分布

文章目录

协方差矩阵

协方差

协方差矩阵

多元正态分布

协方差矩阵的特征值分解

协方差矩阵与多元正态分布相关推荐

最新文章

热门文章