第一章初等概率论

1.概率空间、随机变量与数字特征

概率空间通常记作(Ω,F,P)(\Omega, \mathcal F, P)(Ω,F,P)，其中Ω\OmegaΩ是样本空间表示随机试验的所有可能基本结果，F\mathcal FF表示事件域，PPP代表概率。

Ω\OmegaΩ由一系列样本点ω\omegaω组成（有限或无限），且P(Ω)=1P(\Omega)=1P(Ω)=1；
F\mathcal FF是事件域，是所有事件AAA的集合；每一个事件AAA包含一系列样本点ω\omegaω；
PPP是作用于事件域F\mathcal FF上的函数。

在给定事件BBB已经发生的情况下AAA发生的概率称为条件概率，定义为
P(A∣B)=P(AB)P(B),A,B∈FP(A|B)=\frac{P(AB)}{P(B)},\quad A,B\in \mathcal F P(A∣B)=P(B)P(AB),A,B∈F
由概率空间的定义，(Ω,F,P(⋅∣B))(\Omega, \mathcal F, P(\cdot|B))(Ω,F,P(⋅∣B))也是一个概率空间。有一些与条件概率相关的公式：

全概率公式：对于一个完备事件组B1,⋯,BN(N≤∞)B_1,\cdots,B_N(N\le \infty)B1,⋯,BN(N≤∞)，即两两不相容且Ω=∑i=1NBi\Omega=\sum_{i=1}^N B_iΩ=∑i=1NBi，则对任意事件AAA有
P(A)=∑i=1NP(A∣Bi)P(Bi)P(A)=\sum_{i=1}^N P(A|B_i)P(B_i) P(A)=i=1∑NP(A∣Bi)P(Bi)
由此推论，对于事件BBB，若Bˉ\bar BBˉ为其反，则
P(A)=P(A∣B)P(B)+P(A∣Bˉ)P(Bˉ)P(A)=P(A|B)P(B)+P(A|\bar B)P(\bar B) P(A)=P(A∣B)P(B)+P(A∣Bˉ)P(Bˉ)
链式法则：由于P(AB)=P(B)P(A∣B)P(AB)=P(B)P(A|B)P(AB)=P(B)P(A∣B)，故进行推广，有
P(A1⋯Am)=P(A1)P(A2∣A1)⋯P(Am∣Am−1⋯A1)P(A_1\cdots A_m)=P(A_1)P(A_2|A_1)\cdots P(A_m|A_{m-1}\cdots A_1) P(A1⋯Am)=P(A1)P(A2∣A1)⋯P(Am∣Am−1⋯A1)

两个事件独立，指的是事件BBB发生对事件AAA的概率没有影响。也就是说A,BA,BA,B独立等价于
P(A∣B)=P(A)⇔P(AB)=P(A)P(B)P(A|B)=P(A)\Leftrightarrow P(AB)=P(A)P(B) P(A∣B)=P(A)⇔P(AB)=P(A)P(B)
如果推广到多个事件，则A1,⋯,AmA_1,\cdots,A_mA1,⋯,Am相互独立需要同时满足以下方程：
{P(AiAj)=P(Ai)P(Aj),i<j,P(AiAjAk)=P(Ai)P(Aj)P(Ak),i<j<k,⋯⋯P(A1A2⋯An)=P(A1)P(A2)⋯P(An).\left\{ \begin{array}{l} P(A_iA_j)=P(A_i)P(A_j), &i<j,\\ P(A_iA_jA_k)=P(A_i)P(A_j)P(A_k),&i<j<k,\\ \cdots&\cdots\\ P(A_1A_2\cdots A_n)=P(A_1)P(A_2)\cdots P(A_n). \end{array} \right. ⎩⎪⎪⎨⎪⎪⎧P(AiAj)=P(Ai)P(Aj),P(AiAjAk)=P(Ai)P(Aj)P(Ak),⋯P(A1A2⋯An)=P(A1)P(A2)⋯P(An).i<j,i<j<k,⋯
即同时满足事件组中任意两个、三个直至nnn个事件都是互相独立的。再推广到两个事件域A1,A2\mathcal A_1,\mathcal A_2A1,A2，如果∀A1∈A1,A2∈A2\forall A_1\in\mathcal A_1,A_2\in\mathcal A_2∀A1∈A1,A2∈A2都有A1,A2A_1,A_2A1,A2独立，则称事件域A1,A2\mathcal A_1,\mathcal A_2A1,A2独立。

随机变量XXX是Ω↦R\Omega \mapsto \RΩ↦R的一个映射，给定事件B∈BB\in\mathcal BB∈B，这里B\mathcal BB是R\RR上所有左开右闭有限区间构成的集合，满足可测性条件
X−1(B)={ω∈Ω:X∈B}∈AX^{-1}(B)=\{\omega\in\Omega:X\in B\}\in\mathcal A X−1(B)={ω∈Ω:X∈B}∈A
随机变量XXX在概率PPP下的分布函数FX(x)F_X(x)FX(x)定义为
FX(x)=P(ω:X≤x),x∈RF_X(x)=P(\omega:X\le x),\quad x\in \R FX(x)=P(ω:X≤x),x∈R
最常见的随机变量是离散随机变量与连续随机变量。离散随机变量可以用一个概率分布列表示，
X∼(x1x2⋯xNp1p2⋯pN),∑i=1Npi=1,N≤∞X\sim \left( \begin{array}{c} x_1&x_2&\cdots&x_N\\ p_1&p_2&\cdots&p_N \end{array} \right),\quad \sum_{i=1}^Np_i=1,N\le\infty X∼(x1p1x2p2⋯⋯xNpN),i=1∑Npi=1,N≤∞
连续随机变量可以用概率密度表示，记作X∼p(x)X\sim p(x)X∼p(x)，概率密度p(x)p(x)p(x)满足
F(x)=∫−∞xp(u)du,x∈RF(x)=\int_{-\infty}^x p(u) du,\quad x\in \R F(x)=∫−∞xp(u)du,x∈R
将随机变量整合就得到随机向量(X,Y)(X,Y)(X,Y)，其分布函数定义为
FX,Y(x,y)=P(ω:X≤x,Y≤y)F_{X,Y}(x,y)=P(\omega:X\le x,Y\le y) FX,Y(x,y)=P(ω:X≤x,Y≤y)
记边际分布函数为
FX(x)=FX,Y(x,∞),FY(y)=FX,Y(∞,y)F_X(x)=F_{X,Y}(x,\infty),\quad F_Y(y)=F_{X,Y}(\infty,y) FX(x)=FX,Y(x,∞),FY(y)=FX,Y(∞,y)
联合分布可以唯一确定边际分布，但两个边际分布不能确定联合分布。

如果随机向量(X,Y)(X,Y)(X,Y)是离散型的，则条件分布列为

PY∣X(yj∣xi)=pijpi⋅,PX∣Y(xi∣yj)=pijp⋅jP_{Y|X}(y_j|x_i)=\frac{p_{ij}}{p_{i\cdot}},\quad P_{X|Y} (x_i|y_j)=\frac{p_{ij}}{p_{\cdot j}} PY∣X(yj∣xi)=pi⋅pij,PX∣Y(xi∣yj)=p⋅jpij

相互独立等价于pij=pi⋅p⋅jp_{ij}=p_{i\cdot}p_{\cdot j}pij=pi⋅p⋅j。
如果随机向量(X,Y)(X,Y)(X,Y)是连续型的，则条件密度为
pY∣X(y∣x)=p(x,y)pX(x),pX∣Y=p(x,y)pY(y)p_{Y|X}(y|x)=\frac{p(x,y)}{p_X(x)},\quad p_{X|Y}=\frac{p(x,y)}{p_Y(y)} pY∣X(y∣x)=pX(x)p(x,y),pX∣Y=pY(y)p(x,y)
其中
FX,Y(x,y)=∫−∞x∫−∞yp(u,v)dudv,x,y∈RpX(x)=∫−∞∞p(x,y)dy,pY(y)=∫−∞∞p(x,y)dxF_{X,Y}(x,y)=\int_{-\infty}^x\int_{-\infty}^y p(u,v)dudv,\quad x,y\in\R\\ p_X(x)=\int_{-\infty}^{\infty}p(x,y)dy,\quad p_Y(y)=\int_{-\infty}^\infty p(x,y)dx FX,Y(x,y)=∫−∞x∫−∞yp(u,v)dudv,x,y∈RpX(x)=∫−∞∞p(x,y)dy,pY(y)=∫−∞∞p(x,y)dx
相互独立等价于
p(x,y)=pX(x)pY(y)p(x,y)=p_X(x)p_Y(y) p(x,y)=pX(x)pY(y)

对于随机变量XXX，设其分布函数为F(x)F(x)F(x)，密度函数为p(x)p(x)p(x)或概率分布列为pip_ipi，则有以下数字特征：

期望

对于离散随机变量，如果∑i=1N∣xi∣pi<∞\sum_{i=1}^N |x_i|p_i<\infty∑i=1N∣xi∣pi<∞，则期望为
EX=∑i=1NxipiEX=\sum_{i=1}^N x_ip_i EX=i=1∑Nxipi

对于连续随机变量，如果∫−∞∞∣x∣p(x)dx<∞\int_{-\infty}^\infty |x|p(x) dx<\infty∫−∞∞∣x∣p(x)dx<∞，则期望为
EX=∫−∞∞xp(x)dxEX=\int_{-\infty}^\infty xp(x)dx EX=∫−∞∞xp(x)dx
期望的表达式为
EX=∫−∞∞xdF(x)EX=\int_{-\infty}^\infty xdF(x) EX=∫−∞∞xdF(x)
对于随机变量函数f(X)f(X)f(X)，其期望为
Ef(X)=∫−∞∞f(x)dF(x)Ef(X)=\int_{-\infty}^\infty f(x)dF(x) Ef(X)=∫−∞∞f(x)dF(x)
定义EXkEX^kEXk为随机变量XXX的kkk阶矩。矩母函数GX(t)G_X(t)GX(t)定义为
GX(t)=E(etX)=∫−∞∞etxdF(x)G_X(t)=E(e^{tX})=\int_{-\infty}^\infty e^{tx}dF(x) GX(t)=E(etX)=∫−∞∞etxdF(x)
矩母函数并不总是存在，但如果两个随机变量拥有有限且相同的矩母函数，则这两个随机变量同分布。
方差

对于随机变量XXX，如果EX2<∞EX^2<\inftyEX2<∞，则定义方差为
DX=E(X−EX)2=EX2−(EX)2DX=E(X-EX)^2=EX^2-(EX)^2 DX=E(X−EX)2=EX2−(EX)2
关于方差有一个切比雪夫不等式，为
P(∣X−EX∣>ε)≤DXε2P(|X-EX|>\varepsilon)\le \frac{DX}{\varepsilon^2} P(∣X−EX∣>ε)≤ε2DX
如果令T=∣X−EX∣T=|X-EX|T=∣X−EX∣，则有
P(T>ε)=P(T2>ε2)≤ET2ε2P(X>a)≤EXa,X≥0,a>0P(T>\varepsilon)=P(T^2>\varepsilon^2)\le \frac{ET^2}{\varepsilon^2}\\ P(X>a)\le\frac{EX}{a},\quad X\ge 0,a>0 P(T>ε)=P(T2>ε2)≤ε2ET2P(X>a)≤aEX,X≥0,a>0
得到马尔科夫不等式的形式，因此马尔科夫不等式可以用来证明切比雪夫不等式。
协方差

对于随机变量X,YX,YX,Y，协方差与相关系数定义为
Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EXEYρX,Y=Cov(X,Y)DX⋅DY∈[−1,1]Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EXEY\\ \rho_{X,Y}=\frac{Cov(X,Y)}{\sqrt{DX\cdot DY}}\in[-1,1] Cov(X,Y)=E[(X−EX)(Y−EY)]=E(XY)−EXEYρX,Y=DX⋅DYCov(X,Y)∈[−1,1]
如果两个随机变量协方差为0，则意味着两个随机变量相互独立；如果相关系数为±1\pm1±1，则意味着两个随机变量之间存在线性关系。

多维随机向量的协方差矩阵定义为
Σ=(cij)n×n,cij=Cov(Xi,Xj)\boldsymbol \Sigma=(c_{ij})_{n\times n},\quad c_{ij}=Cov(X_i,X_j) Σ=(cij)n×n,cij=Cov(Xi,Xj)

与以上几种数字特征相关的计算公式如下：
Y=aX+b⇒EY=aEX+b,DY=a2DX;E(X+Y)=EX+EY;D(X+Y)=DX+DY+2Cov(X,Y);Cov(aX,bY)=Cov(bY,aX)=abCov(X,Y);Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z).Y=aX+b\Rightarrow EY=aEX+b,DY=a^2DX;\\ E(X+Y)=EX+EY;\\ D(X+Y)=DX+DY+2Cov(X,Y);\\ Cov(aX,bY)=Cov(bY,aX)=abCov(X,Y);\\ Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z). Y=aX+b⇒EY=aEX+b,DY=a2DX;E(X+Y)=EX+EY;D(X+Y)=DX+DY+2Cov(X,Y);Cov(aX,bY)=Cov(bY,aX)=abCov(X,Y);Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z).
在有了条件分布后可以类似定义条件期望，在绝对值有限的情况下，条件期望是
E(Y∣X=x)=∫−∞∞ydFY∣X(y∣x)E(Y|X=x)=\int_{-\infty}^\infty y dF_{Y|X}(y|x) E(Y∣X=x)=∫−∞∞ydFY∣X(y∣x)
对于连续情形，有
E(Y∣X)=∫−∞∞ypY∣X(y∣x)dy=∫−∞∞yp(x,y)pX(x)dyE(Y|X)=\int_{-\infty}^\infty yp_{Y|X}(y|x)dy=\int_{-\infty}^\infty \frac{yp(x,y)}{p_X(x)}dy E(Y∣X)=∫−∞∞ypY∣X(y∣x)dy=∫−∞∞pX(x)yp(x,y)dy
对于离散情形，有
E(Y∣X=xi)=∑j=1nypijE(Y|X=x_i)=\sum_{j=1}^n yp_{ij} E(Y∣X=xi)=j=1∑nypij
如果对于每一个xxx，E(Y∣X=x)E(Y|X=x)E(Y∣X=x)都存在且有限，则定义g(x)=E(Y∣X=x)g(x)=E(Y|X=x)g(x)=E(Y∣X=x)，类似定义g(X)=E(Y∣X)g(X)=E(Y|X)g(X)=E(Y∣X)，有全期望公式：
E[E(Y∣X)]=E(g(X))=EYE[E(Y|X)]=E(g(X))=EY E[E(Y∣X)]=E(g(X))=EY

随机变量XXX的特征函数被定义为
ϕX(t)=EeitX=∫−∞∞eitxdFX(x)，t∈R\phi_X(t)=Ee^{itX}=\int_{-\infty}^\infty e^{itx}dF_X(x)，\quad t\in\R ϕX(t)=EeitX=∫−∞∞eitxdFX(x)，t∈R
任何随机变量的特征函数都存在，且具有以下基本性质：

ϕ(0)=E(1)=1\phi(0)=E(1)=1ϕ(0)=E(1)=1；
∀t∈R,∣ϕ(t)∣≤1\forall t\in \R,|\phi(t)|\le1∀t∈R,∣ϕ(t)∣≤1；
ϕ(t)\phi(t)ϕ(t)在R\RR上一致连续，且非负定；
如果对某个k≥1k\ge1k≥1有EXk<∞EX^k<\inftyEXk<∞，那么ϕX(t)\phi_X(t)ϕX(t)在t=0t=0t=0处kkk次连续可微，且
ϕX(k)(0)=ikEXk\phi_X^{(k)}(0)=i^k EX^k ϕX(k)(0)=ikEXk
这可以用于求随机变量的kkk阶矩；
如果X,YX,YX,Y相互独立，则有
ϕX+Y(t)=ϕX(t)ϕY(t),t∈R\phi_{X+Y}(t)=\phi_X(t)\phi_Y(t),\quad t\in \R ϕX+Y(t)=ϕX(t)ϕY(t),t∈R
给定两个随机变量X,YX,YX,Y，它们分布函数相同当且仅当特征函数相同。

2.收敛与极限定理

几乎处处收敛：如果存在一个零概率事件Ω0\Omega_0Ω0，使得对任意ω∈Ω−Ω0\omega\in\Omega-\Omega_0ω∈Ω−Ω0，当n→∞n\to \inftyn→∞时有Xn(ω)→X(ω)X_n(\omega)\to X(\omega)Xn(ω)→X(ω)，则称XnX_nXn几乎处处收敛于XXX，记作Xn→Xa.s.X_n\to X\text{ a.s.}Xn→X a.s.。这是所有收敛性中最强的一种。

依概率收敛：如果对任意ε>0\varepsilon>0ε>0，有lim⁡n→∞P(ω:∣Xn(ω)−X(ω)∣>ε)=0\lim \limits_{n\to \infty}P(\omega:|X_n(\omega)-X(\omega)|>\varepsilon)=0n→∞limP(ω:∣Xn(ω)−X(ω)∣>ε)=0，则称XnX_nXn依概率收敛于XXX，记作Xn⟶PXX_n\stackrel{P}{\longrightarrow}XXn⟶PX。依概率收敛比几乎处处收敛弱。

3.数学期望收敛定理

单调收敛定理：令(Xn,n≥1)(X_n,n\ge1)(Xn,n≥1)是一列单调不减非负随机变量，即0≤Xn≤Xn+1a.s.0\le X_n\le X_{n+1} \text{ a.s.}0≤Xn≤Xn+1 a.s.，如果Xn→Xa.s.X_n\to X \text{ a.s.}Xn→X a.s.，那么lim⁡n→∞EXn=EX\lim\limits_{n\to \infty}EX_n=EXn→∞limEXn=EX；如果(Xn,n≥1)(X_n,n\ge1)(Xn,n≥1)是一列单调不增非负随机变量，即0≤Xn+1≤Xna.s.0\le X_{n+1}\le X_n\text{ a.s.}0≤Xn+1≤Xn a.s.，如果Xn→Xa.s.X_n\to X\text{ a.s.}Xn→X a.s.且EX1<∞EX_1<\inftyEX1<∞，则也有lim⁡n→∞EXn=EX\lim\limits_{n\to \infty}EX_n=EXn→∞limEXn=EX。

Fatou引理：令(Xn,n≥1)(X_n,n\ge 1)(Xn,n≥1)是一列单调非负随机变量，那么
lim⁡n→∞EXn≥E(lim⁡n→∞Xn)\lim_{n\to\infty }EX_n\ge E(\lim_{n\to \infty}X_n) n→∞limEXn≥E(n→∞limXn)
控制收敛定理：令(Xn,n≥1)(X_n,n\ge 1)(Xn,n≥1)是一列随机变量，假设存在一个随机变量YYY使得E∣Y∣<∞E|Y|<\inftyE∣Y∣<∞，并且∣Xn∣≤Ya.s.|X_n|\le Y\text{ a.s.}∣Xn∣≤Y a.s.，如果Xn→Xa.s.X_n\to X\text{ a.s.}Xn→X a.s.或者Xn→PXX_n\stackrel P\to XXn→PX，那么
lim⁡n→∞EXn=EX\lim_{n\to \infty }EX_n=EX n→∞limEXn=EX

01.第一章初等概率论相关推荐

微型计算机中储存器可分啊喂,01第一章微型计算机基础知识..ppt
01第一章微型计算机基础知识. 学习方法学习方法很重要复习并掌握先修课的有关内容课堂:听讲与理解.适当笔记课后:认真复习.完成作业实验:充分准备.勇于实践 3.计算机发展简史 1)机械计算机 ...
传感器检测技术及仪表笔记01第一章绪论
第一章绪论 1.1 检测技术及仪表的地位与作用 1.1.1 检测仪表的地位与作用 1.检测的定义 2.检测仪表的地位与作用 3.检测方法 1.2 传感器概述 1.2.1 传感器的基本概念 1.传感器 ...
高等数学精讲01 第一章第一节函数
第一章函数,极限,连续概要: 函数:高等数学研究的主要对象极限(重点难点):用来研究函数的工具,重要概念都是极限用来定义的,连续,导数,定积分连续性:研究的第一个基本形态第一节函数主要内 ...
JavaScript高级程序设计笔记01 | 第一章到第四章 | 关键字与保留字 | 数据类型 | 操作符 | 作用域
观前提示:大部分都是书上的内容,个人理解的部分的较少,看我的笔记还不如去看书第二章 async:可选.表示应该立即下载脚本,但不应妨碍页面中的其他操作,比如下载其他资源或等待加载其他脚本.只对外部 ...
Python快速编程入门#学习笔记01# |第一章：Python基础知识（Python发展历程、常见的开发工具、import模块导入）
全文目录 ==先导知识== 1 认识Python 1.1.1 Python的发展历程 1.1.2 Python语言的特点 2. Python解释器的安装与Python程序运行 1.2.1 安装Pyth ...
Python小白入门- 01( 第一章,第1节) 介绍 Python 编程语言
1. 介绍 Python 编程语言 1.1 Python 是什么 Python 是一种高级的.解释型.面向对象的编程语言,具有简洁.易读.易写的语法特点.Python 由 Guido van Ross ...
【Python数据科学】第一章 IPython 超越Python
1.IPythonde 的帮助和文档 1.1.用符号 ?获取文档 help(len) Help on built-in function len in module builtins:len(obj, ...
第一章教育基础（01 教育与教育学的产生与发展）
第一章教育基础 01 教育与教育学的产生与发展 02 教育与社会的发展 03 教育目的与教育制度 04 教师专业发展 05 小学教育研究 06 小学课程 07 心理学基础知识 01 教育与教育学的产 ...
概率论与数理统计期末复习题型集锦——第一章
文章目录第一章一.概念性知识点 1. 事件间的关系 2. 互不相容事件.对立事件 3. 事件间的运算律 4.习题二.计算题型 1. 排列组合 2. 古典概型 3. 几何概型 4. 条件概率 5. ...
概率统计：第一章概率论的基本概念
第一章概率论的基本概念内容提要: 一．加法.乘法原理及排列.组合复习 1．加法原理设完成一件事有类方法(其中任一类方法都可达到完成这件事的目的),若第1类方法有种,第2类方法有种, ...

01.第一章初等概率论

第一章初等概率论

1.概率空间、随机变量与数字特征

2.收敛与极限定理

3.数学期望收敛定理

01.第一章初等概率论相关推荐

最新文章

热门文章

01.第一章 初等概率论

第一章 初等概率论

1.概率空间、随机变量与数字特征

2.收敛与极限定理

3.数学期望收敛定理

01.第一章 初等概率论相关推荐

最新文章

热门文章

01.第一章初等概率论

第一章初等概率论

01.第一章初等概率论相关推荐