协方差矩阵的详细说明
在做人脸识别的时候经常与协方差矩阵打交道,但一直也只是知道其形式,而对其意义却比较模糊,现在我根据单变量的协方差给出协方差矩阵的详细推导以及在不同应用背景下的不同形式。
变量说明:
设为一组随机变量,这些随机变量构成随机向量 ,每个随机变量有m个样本,则有样本矩阵
(1)
其中 对应着每个随机向量X的样本向量, 对应着第i个随机单变量的所有样本值构成的向量。
单随机变量间的协方差:
随机变量 之间的协方差可以表示为
(2)
根据已知的样本值可以得到协方差的估计值如下:
(3)
可以进一步地简化为:
(4)
协方差矩阵:
(5)
其中 ,从而得到了协方差矩阵表达式。
如果所有样本的均值为一个零向量,则式(5)可以表达成:
(6)
补充说明:
1、协方差矩阵中的每一个元素是表示的随机向量X的不同分量之间的协方差,而不是不同样本之间的协方差,如元素Cij就是反映的随机变量Xi, Xj的协方差。
2、协方差是反映的变量之间的二阶统计特性,如果随机向量的不同分量之间的相关性很小,则所得的协方差矩阵几乎是一个对角矩阵。对于一些特殊的应用场合,为了使随机向量的长度较小,可以采用主成分分析的方法,使变换之后的变量的协方差矩阵完全是一个对角矩阵,之后就可以舍弃一些能量较小的分量了(对角线上的元素反映的是方差,也就是交流能量)。特别是在模式识别领域,当模式向量的维数过高时会影响识别系统的泛化性能,经常需要做这样的处理。
3、必须注意的是,这里所得到的式(5)和式(6)给出的只是随机向量协方差矩阵真实值的一个估计(即由所测的样本的值来表示的,随着样本取值的不同会发生变化),故而所得的协方差矩阵是依赖于采样样本的,并且样本的数目越多,样本在总体中的覆盖面越广,则所得的协方差矩阵越可靠。
4、如同协方差和相关系数的关系一样,我们有时为了能够更直观地知道随机向量的不同分量之间的相关性究竟有多大,还会引入相关系数矩阵。
转自:http://blog.csdn.net/faceRec/article/details/1697362
协方差矩阵的详细说明相关推荐
- 从特征分解到协方差矩阵:详细剖析和实现PCA算法
从特征分解到协方差矩阵:详细剖析和实现PCA算法 本文先简要明了地介绍了特征向量和其与矩阵的关系,然后再以其为基础解释协方差矩阵和主成分分析法的基本概念,最后我们结合协方差矩阵和主成分分析法实现数据降 ...
- java 协方差矩阵_[zz]协方差矩阵的详细说明
在做人脸识别的时候经常与协方差矩阵打交道,但一直也只是知道其形式,而对其意义却比较模糊,现在我根据单变量的协方差给出协方差矩阵的详细推导以及在不同应用背景下的不同形式. 变量说明: 设为一组随机变量, ...
- 从Encoder到Decoder实现Seq2Seq模型
首发于机器不学习 关注专栏 写文章 从Encoder到Decoder实现Seq2Seq模型 天雨粟 模型师傅 / 果粉 关注他 300 人赞同了该文章 更新:感谢@Gang He指出的代码错误.g ...
- 基于主动学习算法减少人工标注量,提升文本标注效率的方案探究
基于主动学习算法减少人工标注量,提升文本标注效率的方案探究 阅读 451 收藏 23 2018-06-26 原文链接:yq.aliyun.com OPPO技术开放日第三期,未来的探索 · AI& ...
- 『资源』机器学习实践中文资源合集
转载自公众号机器之心 先决条件 机器学习的基础是数学.数学并非是一个可选可不选的理论方法,而是不可或缺的支柱.如果你是一名计算机工程师,每天使用 UML.ORM.设计模式及其他软件工程工具/技术,那么 ...
- 机器学习中文资源合集
本文转自机器之心 机器学习日益广为人知,越来越多的计算机科学家和工程师投身其中.不幸的是,理论.算法.应用.论文.书籍.视频等信息如此之多,很容易让初学者迷失其中,不清楚如何才能提升技能.本文作者依据 ...
- 机器学习应该准备哪些数学预备知识?
转 https://www.zhihu.com/question/36324957 https://www.zhihu.com/question/36324957/answer/139408269 机 ...
- 内容来至(http://blog.csdn.net/dadaadao/rss/list)
dadaadao的专栏 [转]Win7x64+VS2012+OpenCV2.4.3+CMake2.8.10+TBB41重编译OpenCV PS:请参考最新的<Opencv 完美配置攻略 2014 ...
- 【滤波】多元卡尔曼滤波器
%matplotlib inline #format the book import book_format book_format.set_style() 简介 我们现在准备研究和实现完整的.多元形 ...
最新文章
- 程序提示确认关闭后退出
- xampp去运行php文件_从0开始构建一个属于你自己的PHP框架
- Cry On My Shoulder (背景音乐)
- 字符串常量池(StringTable)总结
- 完整简单c语言程序代码,初学C语言常用简单程序代码
- Android EditText监测(TextWatcher)输入后延时500ms再搜索
- Paragon ntfs2022轻松让mac读写NTFS格式磁盘移动硬盘U盘
- 2019年8月15日奇虎360测评与笔试分享
- linux 安装oracle18c,CentOS75 安装Oracle18c
- python3 print和format函数
- 前端框架light7的使用体验
- 【OpenFOAM学前预备3——安装OpenFOAM-v8】
- 不用linux转录组数据分析,玩转RNA-seq数据也可以不需要linux ?
- win10亮度无法调节,怎么处理
- [内网渗透]—GPO批量控制域内主机
- 行列式公式和代数余子式
- B站 x《男人装》首次破圈合作,有趣的灵魂遇见了艺术
- PCB如何添加矢量图形logo
- 算法点滴yan测试+打印
- 思科与华为BGP配置命令对比
热门文章
- linux安装光盘制作工具,(三)Linux平台多操作系统安装盘制作工具
- python高级应用程序课程设计_Python高级应用程序设计任务
- 动态网页开发技术(一):Servlet
- MySQL的binlog及关闭方法
- CentOS7.5 firefox Flash插件更新
- spring-bean(xml方式DI)
- SVN遇到Can't convert string from 'UTF-8' to native encoding(转)
- 如何开发FineReport的自定义控件?
- Linux的Application 内存模型---
- java环境配置——配置tomcat用户