一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差

@copyright 转载请注明出处 http://www.cnblogs.com/chxer/

涉及到概率的一个重要的操作是寻找函数的加权平均值。在概率分布p(x)下,函数f(x)的平均值被称为f(x)的期望(expectation),记作E[f]。对于一个离散变量,它的定义为：

因此平均值根据x的不同值的相对概率加权。在连续变量的情形下,期望以对应的概率密度的积分的形式表示：

类似的，我们有“条件期望”。无非就是把边缘概率变成条件概率。

在连续变量的情况下，我们把求和改成积分就好了。

如果我们给定有限数量的N 个点,这些点满足某个概率分布或者概率密度函数,那么期望可以通过平均的方式估计：

可以看出，当点数足够多，即N趋向于无穷大的时候，估计变得精准。

f(x)的方差被定义为：

方差是干什么的呢，它度量了f(x)在均值E[f(x)]附近变化性的大小。

我们可以把期望大概看成一个不错的平均值吧。

如果我们把方差展开，则会得到一个关于f(x)和f(x)2的期望的式子

。。。。。

我去，这一步的推导真是太66666666666了

太！6！了！

书里真是轻！描！淡！写！就过去了！！！！

太！6！了！

我们都是天才吗一步就能看懂！！！

太！6！了！

幸好请教了伟大的学姐，真是，无！力！吐！槽！

如果只是我的智商低，请忽略这一段，谢谢，关爱智障儿童。。。

期望的运算还真是有讲究。

书里轻描淡写的展开实际过程应该是：

其实就是几个运算律来回用：

E[A-B]=E[A]-E[B]

E[E[A]]=E[A]

E[A*B]=E[A]*E[B] (A,B相互独立时)

行吧。我服了。

要是整本书都是这些“展开”，那真是要死了。

作为一个只有高一数学基础的中学生已经很难了好不好。。。

好我们继续。

当然了，我们不仅可以关心函数，更可以关心我们的自变量本身，于是有：

有一个变量的方差，我们就有两个变量的方差，在这里我们称之为“协方差”，它是这么定义的：

看起来和方差长得一模一样。同理可以展开。

那么协方差是干什么用的呢？它表示在多大程度上x和y会共同变化。也就是说，如果x,y相互独立，x和y的协方差就是0。还记得篮子和苹果的例子吗？

有两个变量的协方差，我们就有向量的协方差，它是这么定义的：

可以看出，两个向量的协方差是个矩阵。每两个元素一一对应求协方差。

当这两个向量长得一样的时候，其实就是求自己和自己的协方差，我们有一个偷懒的记号：

那么这个表示一个向量内元素之间共同变化的程度。等以后配合上实例再谈这些应该会更好一些。

转载于:https://www.cnblogs.com/chxer/p/5348093.html

一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差相关推荐

一起啃PRML - 1.2.1 Probability densities 概率密度
一起啃PRML - 1.2.1 Probability densities @copyright 转载请注明出处 http://www.cnblogs.com/chxer/ 我们之前一直在讨论&quo ...
PRML读书会第十二章 Continuous Latent Variables（PCA，PPCA，核PCA，Autoencoder，非线性流形)
主讲人戴玮 (新浪微博:@戴玮_CASIA) Wilbur_中博(1954123) 20:00:49 我今天讲PRML的第十二章,连续隐变量.既然有连续隐变量,一定也有离散隐变量,那么离散隐变量是什 ...
PRML 02 Introduction：贝叶斯概率
引言概率密度期望和协方差 Expectations and covariances 1加权平均值 2 多变量权重 3 条件期望 4 函数方差 5 协方差 Bayesian Probability ...
c语言建立并存储树,利用十字链表存储树结构（便于同时求出某一点的入度与出度）------C语言实现...
#include #include #include /* 利用十字链表存储有向图,可用于同时查找某个顶点的出度与入度: */ typedef struct edge {//顶点表 int headv ...
android读取所有图片分页打印,js控制分页打印、打印分页示例
html和html5详解最近看群里聊天聊得最火热的莫过于手机网站和html5这两个词.可能有人会问,这两者有什么关系呢?随着这移动互联网快速发展的时代,尤其是4G时代已经来临的时刻,加上微软对&qu ...
Jmockit使用指南
概述 mock对象虚拟的对象就是mock对象.mock对象就是真实对象在调试期间的代替品. 关于什么时候需要Mock对象,Tim Mackinnon给我们了一些建议: 真实对象具有不可确定的行为(产 ...
上海手机移动软件开发论坛_前智能手机开发人员的现代移动软件开发
上海手机移动软件开发论坛一个不同的时代 (A Different Era) There is now a whole generation of young developers who are s ...
was英文读音_was用英语怎么读
1. was用英语怎么读 [读法]: 英[wɒz] 美[wɑ:z] [释义]:用来表示某人或某物即主语本身,用来表示某人或某物属于某一群体或有某种性质( be的过去式 ):在,存在:不受干扰 [双语例 ...
数据可视化策略_从无见识到有见识的四种设计有影响力的数据可视化的策略
数据可视化策略 As Alberto Cairo, a well-known information designer, professor, and the Knight Chair in Visu ...

一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差

一起啃PRML - 1.2.2 Expectations and covariances 期望和协方差相关推荐

最新文章

热门文章