本文参考书目：

书名：机器学习中的数学修炼

作者：左飞

1.引入

假设有一个罐子，其中装有绿色和橘色两种颜色的小球。其中橘色小球所占比例u未知,为了推测这个未知的u,可以从罐子里面随机抽取一组样本，在被抽取的小球中，橘色小球所占比例为v。显然，u和v存在某种关系，当抽取的样本容量为一个很大的N时，这个关系就是霍夫丁不等式：

$P[|v-u|>\varepsilon]\leq 2e^{-2\varepsilon^{2}N}$

其中：v为抽取出的N小球中的橘色小球比例，u为真实比例

|v-u|是比例之间的差的绝对值

ε是任意取的大于0的值

给定v和u的值，可以做出关于 $P[|v-u|>\varepsilon]=2e^{-2\varepsilon^{2}N}$ 的分布图

由霍夫丁不等式所表示的这种v和u之间的近似关系，称为概率近似正确（Probably Approximately Correct，PAC）。

2.完整的霍夫丁不等式表述：

若 $x_1,x_2,x_3...x_m$ 为m个独立随机变量，且满足0≤ $x_i$ ≤1，则对任意ε>0，有

其中 $\frac{1}{m}\sum_{i=1}^{m}x_{i}$ 指的是所有 $x_i$ 的均值。

如果不懂 $\frac{1}{m}\sum_{i=1}^{m}E(x_{i})$ 可以先去学习数学期望的知识点，这里推荐

书名：概率论与数理统计

作者:朱晓颖，蔡高玉，陈小平主编．-- 北京：人民邮电出版社，

其中4.1节可学到关于数学期望的知识

3.实践拓展

3.1 问题引入

我们这里用一个实例来进行拓展：

机器学习周志华一书中8.3式不等式的推导：

可先参考下面链接进行问题引入：

西瓜书8.1式，8.2式和8.3式解析_Brice Loskie的博客-CSDN博客

我们的目的是证明后面的不等式成立：

3.2 二项分布中的霍夫丁不等式

由于以上公式满足二项分布，所以先讨论二项分布中的霍夫丁不等式问题：

假设抛硬币正面朝上的概率为p，反面朝上的概率为1-p。令H（n）代表抛n次硬币所得正面朝上的次数.

假设任意δ>0,和之前的ε作用一致，只不过集成学习中单个学习器的错误率也是用ε表示，为了便于区分，所以使用δ来表示任意大于0的数。

$P(p-\frac{H(n)}{n}\geqslant\delta )\leq e^{-2\delta^{2}n}$

p代表正面朝上的概率，类似于第一节中的u,

$\frac{H(n)}{n}$ 表示实验中的正面朝上概率，类似于第一节的v

问：如果你要问第一节公式中是P(v-u>ε),而这里却是P(u-v>ε)，为啥一样？

答：v并不知道相对u是偏大还是偏小，且偏大和偏小概率一样，所以P(v-u>ε)=P(u-v>ε)

将此公式进行变形

$P(p-\frac{H(n)}{n}\geq\delta )$

= $P(np-H(n)\geqslant n\delta)$

= $P(H(n)\leqslant (p-\delta)n)$

即 $P(H(n)\leqslant (p-\delta)n)\leqslant e^{-2\delta^{2}n}$ -式1

3.3 二项分布中的霍夫丁定理带入西瓜书式子8.3的不等式

我们已经推导出此式子

$P(H(x)\neq f(x))=P(H(x)\leqslant \frac{1}{2} T)$ -式2

我们需要算出的是集成学习性能变低的概率，即判断正确的学习器数量小于学习器总数一半的概率

带入3.2我们所得的结果式1

由式1的结构可以得到是2中 p-δ= $\frac{1}{2}$ ,

且δ=p- $\frac{1}{2}$ ,p=1-ε,

所以 δ= $\frac{1}{2}$ -ε

且n=T

将 δ= $\frac{1}{2}$ -ε，n=T带入式1得到

刚好满足西瓜书式8.3的不等式

证明完毕

霍夫丁不等式（Hoeffding‘s inequality）-集成学习拓展-西瓜书式8.3相关推荐

霍夫丁不等式 Hoeffding inequality
霍夫丁不等式是描述:一组相互独立并且有界的变量偏离其均值的和大于一定值的概率具有一个上界. 该不等式最初是研究二项分布的性质. 假设有一组相互独立的随机变量 X 1 , X 2 , - , X n X ...
机器学习碎碎念：霍夫丁不等式
点击上方"AI有道",选择"设为星标" 关键时刻,第一时间送达! 红色石头每天碎碎念一些机器学习知识和概念,大家一起学习,每天进步一点点!喜欢的话别忘了文末点赞 ...
切比雪夫，霍夫丁不等式证明
Hoeffding's Inequality,霍夫丁不等式霍夫丁不等式 ( P ( ∣ v − μ ∣ ≥ ϵ ) ≤ 2 e − 2 n ϵ 2 \mathbb P(\Big|v -\mu\Big ...
机器学习——霍夫丁不等式【转】
机器学习--霍夫丁不等式[转] 转载自:https://blog.csdn.net/z_x_1996/article/details/73564926 霍夫丁不等式霍夫丁不等式(Hoeffding' ...
机器学习数学原理（8）——霍夫丁不等式
机器学习数学原理(8)--霍夫丁不等式这一篇博文主要是为后面的介绍学习理论(Learning Theory)的博文做铺垫.在学习理论中将会使用到霍夫丁不等式作为其引论之一.当然也可以选择直接接受引论 ...
AI数学基础（2）--- 霍夫丁不等式
AI数学基础(2)--- 霍夫丁不等式简介推导霍夫丁不等式的引理霍夫丁不等式简介在概率论中,霍夫丁(Hoeffding)不等式,给出了随机变量的和与其期望值偏差的概率上限推导霍 ...
机器学习数学原理霍夫丁不等式
机器学习数学原理霍夫丁不等式知乎 https://zhuanlan.zhihu.com/p/45342697 机器学习数学原理霍夫丁不等式 CSDN https://blog.csdn.net ...
集成学习（西瓜书学习）
集成学习概述一.Boosting 1.Boosting 2.GBDT (Gradient Boosting Decision Tree) 3.XGBoost(Extreme Gradient Bo ...
机器学习推导合集01-霍夫丁不等式的推导 Hoeffding Inequality
1.0 引言笔者第一次接触霍夫丁不等式(Hoeffding Inequality)是在林轩田先生的机器学习基石课程(还是在b站上看的hh)上.可以说,当时没有系统学过概率论与数理统计(probabi ...

霍夫丁不等式（Hoeffding‘s inequality）-集成学习拓展-西瓜书式8.3