期望方差和贝叶斯概率

期望（expectation）就是平均权重，用E(f)表示，连续型的期望如下：

给出有限的 N 个点期望可以如下表示：

当 N趋向于无穷大的时候上式会非常准确，上式在抽样方法里面会广泛使用。
多个变量函数的期望：

E是 x 的均值期望，它是 y 的函数。条件期望（conditional expectation）关于条件概率分布

方差（variance）：

方差记录了关于均值的变化程度，可以变化如下：

协方差（covariance）定义：

协方差是关于 x 与 y的共同变化程度，如果 x 与 y 相互独立，则协方差消失。向量形式下的协方差如下：

贝叶斯概率
根据随机可重复事件的发生次数来解释概率叫做古典（classical）或者频率解释（frequent）。
例子：月亮是否曾经是围着太阳转的，北极冰川是否会在世纪末消失，这些不是可重复的多次事件，可以通过北极冰融化的速度推测前一个事件。但是冰融化的速度是变化的，当获得新的证据时，就要在不确定性量化的基础上修正原来的不确定数值，这些可以通过贝叶斯方法来解决。概率理论的量化不确定性是可以信服的。
在前面的例子中贝叶斯方法通过观察值将一个先验概率转化成了后验概率（哪个箱子的概率），应用到曲线拟合的例子中来就是确立一个关于参数的先验概率 p(w)，然后获得观察数据点D ={t1,······,tn}可以通过条件概率p(D|w)表示，

所以就可以通过后验概率来估计 w 的不确定性。其中p(D|w)是通过D 来估计出来的是 w 的一个函数，这里叫做似然函数（likelihood function）。它表示了在不同参数下数据集 D 的可能性大小，似然函数不是概率分布函数积分不为1。
所以上式可以看为：

式子都是关于 w 的函数，并且分母是正规化常数，确保了后验概率是概率密度且可以可以积分为 1，如果对 2 边进行 w积分，则分母可以表示为：

在贝叶斯与传统概率理论里面对于似然函数的使用是不同的，传统似然函数通过预先估计把 w 固定化，误差同过数据集集合的分布估计，但是在贝叶斯里面数据集已通过观察值给出，变成了一个关于 w 的概率分布函数。广泛使用的估计函数就是最大似然函数（maximum likelihood）这里w 要设定为能够最大化似然函数的值，这等价于选择一个 w使数据集发生的可能性最大，似然函数的对数形式常被应用为错误函数（error function），最大化似然函数变成最小化错误函数。
贝叶斯的优势就是包含了先验概率。贝叶斯方法的缺点就是在一般应用中，先验信息往往是为了数学计算方便主观选取的，因而有可能得出的信息是不对的，如果先验信息没有选取好没，那麽贝叶斯方法会给出很糟糕的结果。概率估计方法提供了交叉验证（cross-validation）方法防止这种情况发生。

高斯分布
高斯分布 or 正太分布：

u为均值（mean），o2方差（variance），B=1/o2是精度（precision），o标准差（standard deviation）。其中分布中的 2 个重要参数分别是分布的均值与方差。

向量形式下的高斯分布：

μ是D 维向量， Σ是 D*D 矩阵。数据点相互独立且取自于同一分布叫做独立同分布（ independent and identically distributed），给定独立同分布样本集 X，联合概率密度可以表达为：

这是关于参数的最大似然函数图：

其中，看起来好像是给出数据求关于参数的最大似然，而不是给定参数求数据的最大似然。对似然函数进行 log，好处是乘法可以转化为加法避免了在数据处理时的精度损失问题。
求该式子关于u的最大化，得到解为：

这是简单的观察值的均值，关于o2最大化得到：

o2只是一个相对于均值的简单方差。最大似然函数并没有适当应用方差，这个叫做偏离（bias），这是与过度拟合问题相关的。

可以看到均值是正确的，但是方差减小了，实际的计算方式应该是：

当 N 越大，最大似然计算的方差越接近真实的方差，在复杂模型中，方差偏离对于其他很多参数有很大影响，这是造成复杂模型下过度拟合的根本原因。

期望方差和贝叶斯概率相关推荐

PRML 02 Introduction：贝叶斯概率
引言概率密度期望和协方差 Expectations and covariances 1加权平均值 2 多变量权重 3 条件期望 4 函数方差 5 协方差 Bayesian Probability ...
有关贝叶斯概率和贝叶斯网络和贝叶斯因果网络的自习笔记
回校一周了,前段时间忙活着组会讨论班的事儿,然后安装了一个Ubuntu的双系统,暂时不想码代码先把一直好奇的贝叶斯网络了解下. 贝叶斯概率首先是贝叶斯概率.贝叶斯作为泥腿子颠覆了前人"事件 ...
贝叶斯概率矩阵分解理解
贝叶斯概率矩阵分解理解前提假设: 1.用户特征向量,电影特征向量均服从高斯分布先验分布 2.均值和协方差矩阵服从高斯-威沙特分布的先验分布后验概率推理: 1.对用户特征向量后验概率进行推理,满足一 ...
《数据科学家养成手册》--第十一章算法学2---（非监督，监督贝叶斯概率以及损失函数）
11.8 机器学习-----自动归纳数据挖掘是随着商务智能发展起来的一种相对比较新的一种算法学科. 只知道自己想学习的是数据挖掘和大数据,但是真的说出个所以然自己真的办不到.现在说是一种算法学科,忽 ...
频率概率与贝叶斯概率
概率论最初的发展是为了分析事件发生的频率.我们可以很容易地看出概率论,对于像在扑克牌游戏中抽出一手特定的牌这种事件的研究中,是如何使用的.这类事件往往是可以重复的.当我们说一个结果发生的概率为 ppp ...
易被忽视的贝叶斯概率
易被忽视的贝叶斯概率 @(概率论) 全概率是对事件进行划分,求的是总概率.贝叶斯是已知某事件发生,求是其中一件的概率.在前面我们列举过一个例子,讲村庄被偷的概率就是全概率,已知被偷,那么计算是哪个小偷 ...
概率论基础 —— 2. 条件概率、全概率、贝叶斯概率公式
文章目录条件概率全概率贝叶斯概率条件概率条件概率是一种比较特殊的概率体系,和我们前面提到过的基本概率(交事件)有所不同.它最大的特点在于事件发生时有一定的限制前提,通常一般是说在事件A发生后 ...
【简述与推导】似然函数，最大似然估计，条件概率，全概率，贝叶斯概率
目录 1. 似然(likehood)与最大似然估计 2. 条件概率(conditional probability),全概率(total probability),和贝叶斯概率(Bayes proba ...
概率论知识回顾（三）：事件域，条件概率，全概率，贝叶斯概率
概率论知识回顾(三) 关键点:事件域,条件概率,全概率,贝叶斯概率知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. ...

期望方差和贝叶斯概率

期望方差和贝叶斯概率相关推荐

最新文章

热门文章