协方差矩阵到底有什么用？

我们知道，线性代数，可以完成空间上的线性变换——旋转，缩放。对于协方差，我们隐约可以想到，它能解释一个随机变量，它在各个维度的变化程度。但是，这种认识其实还是处于比较浅层次的。数学嘛，总要落实到公式上，才算认识比较深刻。

我认为，协方差一个经典的用法，是帮助我们计算对原始变量进行线性变换后的因变量的方差。

$Y = \mu_{1}*X_{1}+\mu_{2}*X_{2}+\cdots +\mu_{p}*X_{p}$

Y是对X的线性变换，如果X的协方差是 $\sum$ ，那么Y的方差就是 $\mu {}'*\sum *\mu$ 。如果我们再进步一联想，就会想到结果其实是个二次型。的确，个人认为，协方差矩阵，一定是在二次型的环境里才能发挥到它的最大作用。

为了进一步感受它对于统计学的意义，我们可以举个实际的例子。

线性判别分析，就是把一个高维上的点投影到它的超平面上。它的目的很单纯，就是分类。它会认为，你再直线上的投影点，如果离得近，那么你们就是一类的。那么怎么衡量点离得近呢？没错，就是方差。这里就涉及到对于线性变换后的点进行方差计算的问题，此时，就可以用到我们上面的公式了。 $\mu {}'*\sum *\mu$ 这里的 $\mu$ ，就是直线方程的系数。

那么，我们可以进一步抽象。所谓对X进行的线性变换，其实是一种到某一条直线的投影，是一种约束，这种约束就是把散落在高维空间中的点，约束到它的超平面上。然后，协方差矩阵在这个约束的限制下，会变成一个数，也就是方差。

总结一下，协方差是约束前的方差的具体展开，二次型在这里，扮演了对协方差的约束的效果。它要求，协方差对应的点X，都在 $\mu$ 系数下的直线上。

协方差矩阵到底有什么用？相关推荐

pca各个向量之间的相关度_PCA主成分分析
降维就是一种对高维度特征数据预处理方法.降维是将高维度的数据保留下最重要的一些特征,去除噪声和不重要的特征,从而实现提升数据处理速度的目的.降维的算法有很多,比如奇异值分解(SVD).主成分分析(PC ...
java opencv calcCovarMatrix 计算协方差矩阵
在opencv的Core中有一个函数是计算协方差矩阵,这个函数为:calcCovarMatrix 在这里我们就来简单的介绍一些协方差矩阵方差方差是各个数据与平均数之差的平方的平均数.在概率论和数理 ...
协方差矩阵, 相关系数矩阵
变量说明: 设为一组随机变量,这些随机变量构成随机向量,每一个随机变量有m个样本,则有样本矩阵 (1) 当中相应 ...
从特征分解到协方差矩阵：详细剖析和实现PCA算法
从特征分解到协方差矩阵:详细剖析和实现PCA算法本文先简要明了地介绍了特征向量和其与矩阵的关系,然后再以其为基础解释协方差矩阵和主成分分析法的基本概念,最后我们结合协方差矩阵和主成分分析法实现数据降 ...
主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
这是从网上看到的PCA算法的步骤: 第一步,分别求每列的平均值,然后对于所有的样例,都减去对应的均值. 第二步,求特征协方差矩阵. 第三步,求协方差的特征值-显示全部关注者 1,218 被浏览 78 ...
机器学习--主成分分析PCA算法：为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是“投影”？
原文链接:主成分分析PCA算法:为什么去均值以后的高维矩阵乘以其协方差矩阵的特征向量矩阵就是"投影"?_天下对手教会少林武僧-CSDN博客_pca投影矩阵这是从网上看到的PCA算 ...
协方差矩阵的定义及其计算公式（转）
协方差矩阵的定义及其计算公式 (2014-03-20 18:36:56) 转载▼ 分类: matlab 协方差矩阵在机器学习中经常用到,查看wiki:http://zh.wikipedia.org ...
目标跟踪：卡尔曼滤波（Kalman Filter）到底是怎么工作的？
Kalman filter到底是怎么工作的? 本文主要参考的文章:https://www.bzarg.com/p/how-a-kalman-filter-works-in-pictures/,图片也基 ...
协方差矩阵的几何性质
本篇笔记将以向量值随机变量X=(X1,-,Xn)TX=(X_1,\dots,X_n)^TX=(X1,-,Xn)T的协方差矩阵为例,研究其性质.在阅读笔记之前可先记下先导篇中的相关结论,尤其是该篇中 ...

协方差矩阵到底有什么用？

协方差矩阵到底有什么用？相关推荐

最新文章

热门文章