【笔记】大数定理证明

2024-05-08 11:24:54

简述

复习一下概率论大数定理的证明。
证明大数定理，需要先证明切比雪夫（Chebyshev）不等式。

Chebyshev不等式证明

定理设随机变量X具有数学期望E(x)=μE(x)=\muE(x)=μ，方差为D(x)=σ2D(x) =\sigma^2D(x)=σ2，则对任意正数ε\varepsilonε，不等式
P{∣X−μ∣≥ε}≤σ2ε2P\{|X-\mu| \geq \varepsilon\}\leq\frac{\sigma^2}{\varepsilon^2}P{∣X−μ∣≥ε}≤ε2σ2
成立。这就是chebyshev不等式

证明： 只需要考虑连续变量的情况，离散情况将积分替换为累积求和即可。
P{∣X−μ∣≥ε}=∫∣X−μ∣≥εf(x)dx≤∫∣X−μ∣≥ε∣X−μ∣2ε2f(x)dx≤1ε2∫∣X−μ∣2f(x)dx=σ2ε2P\{|X-\mu| \geq \varepsilon\} = \int_{|X-\mu| \geq \varepsilon}{f(x)dx}\leq \int_{|X-\mu| \geq \varepsilon}{\frac{|X-\mu|^2}{\varepsilon^2}f(x)dx}\leq \\ \frac{1}{\varepsilon^2} \int_{}{|X-\mu|^2f(x)dx}=\frac{\sigma^2}{\varepsilon^2}P{∣X−μ∣≥ε}=∫∣X−μ∣≥εf(x)dx≤∫∣X−μ∣≥εε2∣X−μ∣2f(x)dx≤ε21∫∣X−μ∣2f(x)dx=ε2σ2

得证。

大数定理证明

定理设随机变量X1,X1,...,XnX_1,X_1,...,X_nX1,X1,...,Xn i.i.d(independent and identically distributed 独立同分布)，具有数学期望E(x)=μE(x)=\muE(x)=μ，方差为D(x)=σ2D(x) =\sigma^2D(x)=σ2，样本均值xˉ\bar xxˉ，则对任意正数ε\varepsilonε
lim⁡n→∞P{∣xˉ−μ∣≥ε}=0\lim\limits_{n \to \infty }{P\{|\bar x-\mu| \geq \varepsilon\}} =0n→∞limP{∣xˉ−μ∣≥ε}=0
成立。这就是大数定理

证明：

样本均值的均值 E(xˉ)=μE(\bar x)=\muE(xˉ)=μ
样本均值的方差 Var(xˉ)=σ2nVar(\bar x)=\frac{\sigma^2}{n}Var(xˉ)=nσ2
由切比雪夫不等式有，

P{∣xˉ−μ∣≥ε}≤var(xˉ)ε2=σ2n∗ε2P\{|\bar x-\mu| \geq \varepsilon\} \leq \frac{var(\bar x)}{\varepsilon^2}=\frac{\sigma^2}{n*\varepsilon^2}P{∣xˉ−μ∣≥ε}≤ε2var(xˉ)=n∗ε2σ2
得证。

【笔记】大数定理证明相关推荐

机器学习数学笔记|大数定理中心极限定理矩估计
机器学习数学笔记|大数定理中心极限定理矩估计觉得有用的话,欢迎一起讨论相互学习~ 本博客为七月在线邹博老师机器学习数学课程学习笔记为七月在线打call!! 课程传送门概率密度/概率分布函数概率 ...
【高等数学笔记】证明：闭包是包含集合的最小的闭集
本文用到的定义和定理在前两篇文章中给出: #1[高等数学笔记]证明:闭包一定是闭集 #2[高等数学笔记]闭包.孤立点.导集.内点.边界的关系我们已经在#1的定理3证明了闭包是闭集.那么证明本文的标题 ...
【高等数学笔记】证明：闭包一定是闭集
这里采用工科数学分析中对闭包的定义. 前置知识: 定义设AAA是RnR^nRn中的一个点集,a∈Rna\in R^na∈Rn.若∃A\exists A∃A中的点列{xn}\{x_n\}{xn}(x ...
笔记——零知识证明zkSNARK
记录下学习零知识证明的相关资料以及协议构建过程相关定义 Definition 1 (Quadratic Span Program) 若一个程序QQQ为QSP,则其在域FFF上存在两个集合V={vk( ...
能量原理与变分法笔记03:证明两点之间直线最短
{间接解法:找到欧拉方程求解精确解直接解法:暴力找到近似解(比如所有抛物线)\left\{\begin{array}{l} 间接解法:找到欧拉方程求解精确解\\ 直接解法:暴力找到近似解(比如所有抛物 ...
一份详细的“入坑Phd指南”---教你如何做笔记、整理参考书目、管理时间、如何写作、对自己和导师合理预期...
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要5分钟 pick小博主,每天进步一丢丢 [导读]今天给大家强烈推荐一份详细的读博指南,本指南教你如何做笔记.整理参考书目.管理时间.如何写作.对 ...
十年测试之路的笔记分享
文末有福利前言做测试已经快十年了,夜深人静的时候常常在想,这些年到底做了些什么?想来想去,发现只有那些过往的学习笔记才能证明自己这些年一直在努力. 说起学习这件事,似乎也是一个笑话. 那些年苦练u ...
切比雪夫不等式证明及应用
切比雪夫不等式证明及应用 1 背景 2 定义 3 预备知识 3.1 连续型随机变量及其概率密度 3.2 定积分保号性 4 证明 5 应用 6 参考文献切比雪夫(1821~1894),俄文原名Пафн ...
两直线垂直，斜率乘积为-1的证明
老早以前在学习初等函数的时候,线性函数中的两直线y = m0x + b0, y = m1x +b1如果垂直,则有结论两条直线的斜率乘积为-1即m0*m1 = -1,以前也只是拿来用,没有证明过.最近在 ...

最新文章

热门文章