【数学和算法】协方差矩阵、方差

`1.方差`

方差是判断一个变量（如，身高）距离平均值的偏离程度的量，如，一个班的50个同学的身高方差。
方差只是一个维度，而协方差是多个维度之间的相关性。
方差的性质：
Var(x)=E(x2)−E2(x)\displaystyle\color{blue}Var(x) = E(x^2) - E^2(x)Var(x)=E(x2)−E2(x)

对于正态分布来说，期望为0，即：
E(x)=0\displaystyle\color{blue}E(x) = 0E(x)=0

那么，正态分布的方差为：
Var(x)=E(x2)\displaystyle\color{blue}Var(x) = E(x^2)Var(x)=E(x2)

-----------------------------------------------------------------------------

`2.协方差与协方差矩阵：`

协方差矩阵的理解可以参考这篇博客：https://zhuanlan.zhihu.com/p/70644127
也可以去看B站的视频，讲的很透彻: https://www.bilibili.com/video/BV12D4y1S7fU/
如果要研究几个变量的相关性，如身高、体重、年龄这三个变量的两两之间的相关性，那么协方差矩阵就是三行三列的矩阵，矩阵的对角线元素是各个变量自己的方差，非对角线的每个元素是各个变量两两之间的协方差。
所以，方差只能说所有人的身高的方差，不能说身高与体重之间的方差。而协方差矩阵的对角线上都是各变量的方差。所以，协方差矩阵包含了各个变量的方差。
-----------------------------------------------------------------------------

`2.1 协方差：`

注意上面的E[(X-Ux)(Y-Uy)]是对(X-Ux)(Y-Uy)的整体求期望，并不能分别对(X-Ux)和(Y-Uy)求期望，上面公式中(X-Ux)是行向量，(Y-Uy)是列向量。看看下面协方差的公式就明白了：

设X、Y分别表示身高和体重，那么上面的Cov(X,Y)就是所有人的身高与体重二者的协方差，只是一个数字，并不是协方差矩阵。身高与体重的协方差需要对每个人计算(自己身高 - 所有人身高均值)*(自己体重 - 所有人体重均值)，然后再把他们相加求均值，得到的均值也叫期望E，就是身高和体重的协方差。
上面的Cov(X,X)就只是所有人的身高方差，也只是一个数字。

协方差只是两个变量之间的相关性，如，身高与体重的协方差，并不存在身高、体重、年龄三者的协方差。

`2.2 协方差矩阵：`

为了更清晰明白，我们再增加一个维度，年龄Z，那么三维协方差矩阵是由
Cov(X,Y)\displaystyle\color{blue}Cov(X,Y)Cov(X,Y)、Cov(Y,X)\displaystyle\color{blue}Cov(Y,X)Cov(Y,X)、Cov(X,Z)\displaystyle\color{blue}Cov(X,Z)Cov(X,Z)、Cov(Z,X)\displaystyle\color{blue}Cov(Z,X)Cov(Z,X)、Cov(Y,Z)\displaystyle\color{blue}Cov(Y,Z)Cov(Y,Z)、Cov(Z,Y)\displaystyle\color{blue}Cov(Z,Y)Cov(Z,Y)
这6个协方差，和Cov(X,X)\displaystyle\color{blue}Cov(X,X)Cov(X,X)、Cov(Y,Y)\displaystyle\color{blue}Cov(Y,Y)Cov(Y,Y)、Cov(Z,Z)\displaystyle\color{blue}Cov(Z,Z)Cov(Z,Z) 这3个方差组成。
很明显，他们有以下关系：

协方差：
Cov(X,Y)=Cov(Y,X)\displaystyle\color{blue}Cov(X,Y) = Cov(Y,X)Cov(X,Y)=Cov(Y,X)

Cov(X,Z)=Cov(Z,X)\displaystyle\color{blue}Cov(X,Z) = Cov(Z,X)Cov(X,Z)=Cov(Z,X)

Cov(Y,Z)=Cov(Z,Y)\displaystyle\color{blue}Cov(Y,Z) = Cov(Z,Y)Cov(Y,Z)=Cov(Z,Y)

方差：

Cov(X,X)=Var(X)\displaystyle\color{blue}Cov(X,X) = Var(X)Cov(X,X)=Var(X)

Cov(Y,Y)=Var(Y)\displaystyle\color{blue}Cov(Y,Y) = Var(Y)Cov(Y,Y)=Var(Y)

Cov(Z,Z)=Var(Z)\displaystyle\color{blue}Cov(Z,Z) = Var(Z)Cov(Z,Z)=Var(Z)

------------------------------------------------------

`2.3 协方差矩阵是怎么计算得到的？`

可以根据方差的公式理解记忆协方差的公式：

那么三维的协方差矩阵P(X,Y,Z)就是下面这样：

-----------------------------------------------------------------------------

`2.4 协方差矩阵推导过程：（可跳过，写的不那么好理解）`

设有个三维的列向量W（年龄w1、身高w2、体重w3），
W⃗=[w1w2w3]\displaystyle\color{blue}\vec W = \begin{bmatrix} w1\\ w2\\ w3\end{bmatrix}W=⎣⎡w1w2w3⎦⎤
那么他们的协方差矩阵为：
P=E(W⃗W⃗T)\displaystyle\color{blue}P = E(\vec{W}\vec{W}^T)P=E(WWT)
注意，上面的协方差是对W⃗W⃗T\displaystyle\color{blue}\vec{W}\vec{W}^TWWT求期望，并非协方差=W⃗W⃗T\displaystyle\color{blue}协方差=\vec{W}\vec{W}^T协方差=WWT。

为了方便书写，我们只取两维（年龄w1、身高w2）来证明：
很多个人，每个人都有各自的身高、体重、年龄属性。n个人抽象成n个点，每个点都有各自的3个维度(3个属性)。
协方差是协方差，协方差矩阵是协方差矩阵，协方差矩阵是由协方差组成。
两个变量之间的协方差
假设有n个人(n个点)，下面的

w1表示(年龄-年龄均值)
w2表示(身高-身高均值)
w1*w2表示(年龄-年龄均值)*(身高-身高均值)，对他们所有人求期望E(w1*w2)即身高与年龄的协方差。
注意：涉及到求方差和协方差，那必须是很多个人（很多个点），求期望也是对很多个人求期望(均值)。下面第一个式子不是协方差矩阵，他是一个人的两个属性之间的运算(但是还是不能脱离所有人的均值)，对第一个式子求期望，就是对所有的人求均值，之后才是协方差矩阵。
第一个式子不能独立存在，他表示每个人的通项：
想一下，身高的方差=[(学生1的身高-所有人的身高均值)的平方+ (学生2的身高-所有人的身高均值)的平方+ ... + (学生n的身高-所有人的身高均值)的平方] /n。

由于方差和期望有以下关系：

Var(x)=E(x2)−E2(x)\displaystyle\color{blue}Var(x) = E(x^2) - E^2(x)Var(x)=E(x2)−E2(x)

对于正态分布，他的期望E(x)=0\displaystyle\color{blue}E(x) = 0E(x)=0
所以E2(x)=0\displaystyle\color{blue}E^2(x) = 0E2(x)=0
所以方差就等于 Var(x)=E(x2)\displaystyle\color{blue}Var(x) = E(x^2)Var(x)=E(x2)
所以可以得到上面的协方差矩阵。

上面的协方差矩阵的书写方式会造成误解，因为X和Y协方差并不等于 X的标准差乘以Y的标准差，而且可正可负，在这里是表示二者之间的协方差，并不是二者标准差相乘。这篇博客的最后介绍了相关系数：