Hoeffding 不等式

1. 独立同分布：指在随机过程中，任何时刻的取值都为随机变量，如果这些变量的取值服从同一分布，并且互相独立，那么这些变量就是独立同分布的。

同一分布可以是均匀分布，或者伯努利分布等。

2. 独立同分布的中心极限定律：X1，X2，X3.....Xn是独立同分布的n个随机变量，当n很大时，它们的和X=X1+X2+...+Xn可以近似看做服从正态分布的。

3. 0-1分布：又名两点分布，也叫伯努利分布。

但伯努利分布未必一定是0-1分布，也可能是a-b分布，只需要满足相互独立、只取两个值的随机变量通常称为伯努利随机变量。

4. 伯努利分布：随机变量X有伯努利分布，参数为p（0<p<1），如果它分别为概率p和1-p取1和0位值。EX=P,DX=1-P。伯努利试验成功的次数服从伯努利分布，参数p是试验成功的概率。

如果随机变量X只取0和1两个值，并且相应的概率为：

Pr(X=1)=p,Pr(X=0)=1-p, 0<p<1

则称随机变量X服从参数为P的伯努利分布。

5.Hoeffding不等式

Hoeffding不等式是关于一组随机变量均值的概率不等式。如果为一组独立同分布的参数为p的伯努利分布随机变量，n为随机变量的个数。定义随机变量的均值为：

对于任意，Hoeffding不等式可以表示为

解释：在统计推断中我们可以利用样本的统计量来推断总体的参数，譬如使用样本均值来估计总体期望。如下图所示，我们从罐子里抽球，希望估计罐子里红球和绿球的比例。

直觉上，如果我们有更多的样本(抽出更多的球)，则样本期望ν应该越来越接近总体期望μ。事实上，这里可以用hoeffding不等式表示如下：

从hoeffding不等式可以看出，当n逐渐变大时，不等式的UpperBound越来越接近0，所以样本期望越来越接近总体期望。

Hoeffding 不等式相关推荐

UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式与Khintchine不等式
UA MATH567 高维统计I 概率不等式5 推广Hoeffding不等式我们在第一讲时讨论了Hoeffding不等式,但那个版本时针对有界的随机变量的,我们希望通过亚高斯性推广Hoeffding ...
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式
UA MATH567 高维统计I 概率不等式1 Hoeffding不等式与Chernoff不等式 Hoeffding不等式 Chernoff不等式 MATH 564系列我们已经介绍了几个基本的概率不等 ...
Hoeffding不等式的证明
这个不等式是Azuma鞅不等式的一个特例见Azuma不等式 ,下面的证明不用复杂的理论. 从wikipedia摘抄的. 注意,markov不等式中的y是x,不等式右边的E(X) ,换成E(|X|).证 ...
Hoeffding不等式
在看统计学习方法证明泛化误差上界中提到使用Hoeffding不等式(霍夫丁不等式) 原书给了两个公式: 另外参考博文里贴过来两个公式很陌生,占个坑理解一下. 关于该不等式的原地址:H ...
Hoeffding不等式简介
1 Hoeffding不等式 Hoeffding不等式是非常有用的一个不等式,在机器学习.统计学等领域,都发挥着巨大的作用. 它的思想与Markov不等式有些类似,我们先给出它的形式: Hoeffdi ...
深度学习/机器学习入门基础数学知识整理（六）：Hoeffding不等式，
开写之前先推荐一个林轩田先生的书,<Learning From Data>,我从网上得到电子版资源放在这里获取,仅用于学习交流之用,不可用与商用,谢谢.网上还有配套的Slides,我虽然还 ...
Hoeffding不等式与泛化误差上界
Hoeffding不等式本篇文章不详细证明霍夫丁不等式怎么来的,主要讨论如何由霍夫丁不等式证明不等式: 左端即为泛化误差,右端则为泛化误差上界.泛化误差也可以理解为期望风险,而右式第一个也叫做经验风 ...
机器学习--Hoeffding Inequality--界定概率边界
问题假设空间的样本复杂度(sample complexity):随着问题规模的增长导致所需训练样本的增长称为sample complexity.实际情况中,最有可能限制学习器成功的因素是训练数据的有 ...
UA MATH567 高维统计IV Lipschitz组合9 矩阵函数、半正定序与迹不等式
UA MATH567 高维统计IV Lipschitz组合9 矩阵函数.半正定序与迹不等式矩阵函数半正定序(positive semi-definite order, PSD order) 迹不等 ...

Hoeffding 不等式

Hoeffding 不等式相关推荐

最新文章

热门文章