前言

CS229讲到生成学习算法的时候，首先介绍了多元正态分布，然后发现自己对过去的一些基础概念记忆不是很清楚了（例如协方差），因此重新记录一下。如有问题，欢迎斧正。

协方差是什么？

对于单变量（特征）的样本集，我们会选择用样本均值、方差、标准差等等来描述这个样本集。对于多变量（特征）的样本集，我们可以选择对每一个变量分别计算其均值、方差等等。

但是，样本集中的这些变量往往并不是毫无关系的（例如身高和体重存在正相关关系），我们应该在高中阶段就学习过“正相关”、“负相关”这种说法，这个对两个变量之间的关系是一个定性描述。是否存在一种数学语言，能够定量描述两个变量之间的相关性呢？这个东西就是协方差。

协方差如何计算？这个部分在【马同学图解数学】的视频（链接见参考资料）里面给出了一个图形化的说明，个人认为对协方差的理解很有帮助。

协方差矩阵Σ∈Rn∗nΣ∈R^{n*n}Σ∈Rn∗n是个什么东西？

讲清楚了协方差，协方差矩阵反而就很好理解了。协方差反映的是两个变量之间的相关性，如果我的样本集里面有三个、四个甚至多个变量，怎么办？很简单，我们首先两两选择变量，分开计算他们的协方差，然后利用一个矩阵，存放各个协方差。这个就是协方差矩阵。

假设一共有d个随机变量，也就是说随机变量为x1,x2,...,xdx_1, x_2, ... , x_dx1,x2,...,xd，那么他们的协方差矩阵长这样（图源参考资料4），不难得出，协方差矩阵是一个对称矩阵：

参考资料

https://zhuanlan.zhihu.com/p/86624275
https://www.bilibili.com/video/BV1gY4y187TL/?spm_id_from=333.337.search-card.all.click&vd_source=c78d520ab4e3c395d859ce07512c4461
https://www.zhihu.com/question/20852004
https://zhuanlan.zhihu.com/p/37609917

【CS229笔记】协方差矩阵概念快速回顾相关推荐

深度学习笔记：01快速构建一个手写数字识别系统以及张量的概念
深度学习笔记:01快速构建一个手写数字识别系统神经网络代码最好运行在GPU中,但是对于初学者来说运行在GPU上成本太高了,所以先运行在CPU中,就是慢一些. 一.安装keras框架使用管理员模式打 ...
2021年大数据Spark（四十二）：SparkStreaming的Kafka快速回顾与整合说明
目录 Kafka快速回顾消息队列: 发布/订阅模式: Kafka 重要概念: 常用命令整合说明两种方式两个版本API 在实际项目中,无论使用Storm还是SparkStreaming与Flin ...
Bootstrap学习笔记01【快速入门、栅格布局】
Java后端学习路线笔记汇总表[黑马程序员] Bootstrap学习笔记01[快速入门.栅格布局][day01] Bootstrap学习笔记02[全局CSS样式.组件和插件.案例_黑马旅游网][d ...
《为iPad而设计：打造畅销App》——快速回顾用户界面设计史
本节书摘来自异步社区<为iPad而设计:打造畅销App>一书中的快速回顾用户界面设计史,作者[英]Chris Stevens,更多章节内容可以访问云栖社区"异步社区"公 ...
软考高项之学习笔记——质量成本概念
软考高项之学习笔记--质量成本概念一.常见混淆概念二.质量成本相关概念解释 1.质量成本概念 2.一致性成本 3.非一致性成本三.历年真题一.常见混淆概念质量成本.一致性成本.非一致性成本. ...
JDBC概念快速入门工具类Util的写法
JDBC概念&快速入门&工具类Util的写法概念 Java Database Connectivity Java 数据库连接,用Java语言操作数据库 JDBC本质:官方定义的一套操 ...
使用react实现select_React笔记——核心概念：9.表单
1.受控组件在 React 中,可变状态(mutable state)通常保存在组件的 state 属性中,并且只能通过使用 setState()来更新. state:唯一数据源渲染表单的 Rea ...
【PyTorch 自然语言处理】传统 NLP 快速回顾（计算语言学）
PyTorch 自然语言处理传统 NLP 快速回顾语料库,标记和类型一元组,二元组,三元组,...,N 元组词形和词干分类句子和文档分类单词:词性标注分类短语:分块和命名实体识别句子结 ...
一、微信小程序-快速回顾(创建项目、项目结构分析)
文章目录一. 创建微信小程序项目 1.1. 准备工作 1.2. 创建微信小程序项目二.项目结构分析 2.1. 其他文件 2.2. 全局文件 2.3. 页面文件前言:软件开发需要学习的东西真的是太 ...
笔记神器-Obsidian快速使用入门教程
引言本人原先记笔记用的是typora,在同事的推荐下,试用了obsidian,之后就一发不可收拾. 说说个人的使用感受,typora对于单个笔记来讲记录是很方便,但是一旦笔记变多或者笔记与笔记之间有 ...

【CS229笔记】协方差矩阵概念快速回顾

【CS229笔记】协方差矩阵概念快速回顾

前言

协方差是什么？

协方差矩阵Σ∈Rn∗nΣ∈R^{n*n}Σ∈Rn∗n是个什么东西？

参考资料

【CS229笔记】协方差矩阵概念快速回顾相关推荐

最新文章

热门文章