概率论与随机过程课程笔记

文章目录

1. 概率空间与分布函数
- 1.1 概率空间 {Ω,F,P}\{\Omega,\mathscr{F},P\}{Ω,F,P}
- - 1.1.1 样本空间
  - 1.1.2 事件域
  - 1.1.3 概率
- 1.2 随机变量
- 1.3 分布函数
- 1.4 常用的随机变量
2. Riemann-Stieltjes 积分
- 2.1 Riemann-Stieltjes 积分
- 2.2 基本性质
- 2.3 三个重要例子
- - 2.3.1 关于折线函数的 R-S 积分
  - 2.3.2 关于阶梯函数的 R-S 积分
  - 2.3.3 关于连续函数的 R-S 积分

1. 概率空间与分布函数

1.1 概率空间 {Ω,F,P}\{\Omega,\mathscr{F},P\}{Ω,F,P}

1.1.1 样本空间

样本空间 Ω\OmegaΩ：随机试验所有可能结果组成的集合

1.1.2 事件域

事件域 F\mathscr{F}F：Ω\OmegaΩ 中某些子集组成的集合，满足
1. Ω∈F\Omega\in \mathscr{F}Ω∈F（这里 Ω\OmegaΩ 看作必然事件）
2. 若 A∈FA\in \mathscr{F}A∈F，则 Ac∈FA^c\in\mathscr{F}Ac∈F（AcA^cAc 是 AAA 的余集）
3. 若 An∈F,n=1,2,...A_n\in\mathscr{F},n=1,2,...An∈F,n=1,2,...，则 ⋃i=1∞An∈F\bigcup_{i=1}^\infin A_n\in\mathscr{F}⋃i=1∞An∈F
事件域就是样本空间 Ω\OmegaΩ 中所有可能事件的集合，是概率的定义域。只要样本空间的某个子集能算概率，就说明它是一个事件，一定在事件域中。以上三条都能算出概率，因此 ∈F\in\mathscr{F}∈F

1.1.3 概率

概率 P:F→R+P: \mathscr{F} \to \mathbb{R}^+P:F→R+，满足
1. 非负性：∀A∈F,0≤P(A)≤1\forall A\in \mathscr{F}, \space 0\leq P(A)\leq 1∀A∈F, 0≤P(A)≤1
2. 规范性：P(Ω)=1P(\Omega) = 1P(Ω)=1
3. 可列可加性：对于 An∈F,n=1,2,...A_n\in\mathscr{F}, n=1,2,...An∈F,n=1,2,... 且两两互不相交，有 P(∑n=1∞An)=∑n=1∞P(An)P(\sum_{n=1}^\infin A_n) = \sum_{n=1}^\infin P(A_n)P(∑n=1∞An)=∑n=1∞P(An)
  
  注：集合的 ∑\sum∑ 求和代表两层意义，一是说所有集合两两不交，二是说求并集
性质
1. 单调性：设 A,BA,BA,B 是两个事件，若 A⊂BA\subset BA⊂B，则有 P(A)≤P(B)P(A) \leq P(B)P(A)≤P(B)
2. 加法公式：P(A∪B)=P(A)+P(B)−P(AB)P(A\cup B) = P(A) +P(B) - P(AB)P(A∪B)=P(A)+P(B)−P(AB)
3. 减法公式：P(A−B)=P(A)−P(AB)=P(AB‾)P(A-B) = P(A) - P(AB) = P(A\overline{B})P(A−B)=P(A)−P(AB)=P(AB)
4. 次可加性：对于 An∈F,n=1,2,...A_n\in\mathscr{F}, n=1,2,...An∈F,n=1,2,...，有 P(⋃n=1∞An)≤∑n=1∞P(An)P(\bigcup_{n=1}^\infin A_n) \leq \sum_{n=1}^\infin P(A_n)P(⋃n=1∞An)≤∑n=1∞P(An)
5. 逆事件概率公式：P(A‾)=1−P(A)P(\overline{A}) = 1-P(A)P(A)=1−P(A)
6. 下连续性：若 An∈FA_n\in\mathscr{F}An∈F，且 An↑AA_n\uparrow AAn↑A（即 AnA_nAn 从左端趋近于 AAA，也即 AnA_nAn 严格递增收敛到 AAA，⋃nAn=A\bigcup_nA_n = A⋃nAn=A），则 lim⁡n→∞P(An)=P(lim⁡n→∞An)=P(A)\lim_{n\to\infin}P(A_n) = P(\lim_{n\to\infin}A_n) = P(A)n→∞limP(An)=P(n→∞limAn)=P(A)
7. 上连续性：若 An∈FA_n\in\mathscr{F}An∈F，且 An↓AA_n\downarrow AAn↓A（即 AnA_nAn 从右端趋近于 AAA，也即 AnA_nAn 严格递减收敛到 AAA，⋂nAn=A\bigcap_nA_n = A⋂nAn=A），则 lim⁡n→∞P(An)=P(lim⁡n→∞An)=P(A)\lim_{n\to\infin}P(A_n) = P(\lim_{n\to\infin}A_n) = P(A)n→∞limP(An)=P(n→∞limAn)=P(A)

1.2 随机变量

概率都是对事件而言的，用于衡量事件发生的可能性大小，但由于概率定义域是样本空间中的样本点而不是数，高等数学的分析工具没法使用。为了便于分析，把随机事件数量化，即得到随机变量
随机变量：称 X:Ω→RX:\Omega\to\mathbb{R}X:Ω→R 为随机变量，若 ∀x∈R\forall x\in \mathbb{R}∀x∈R，有
{X≤x}∈F,或者{X<x}∈F\{X\leq x\}\in\mathscr{F}, 或者 \{X<x\}\in\mathscr{F} {X≤x}∈F,或者{X<x}∈F
更进一步，称 F(x)=P{X≤x}F(x) = P\{X\leq x\}F(x)=P{X≤x} 为随机变量 XXX 的分布函数

注：这里 {X≤x}\{X\leq x\}{X≤x} 代表样本空间中映射为数后值小于 xxx 的样本点的集合，即事件域的一个子集。我们知道分布函数描述的就是这个集合的概率，因此其一定是个事件，∈F\in \mathscr{F}∈F

1.3 分布函数

分布函数 F(x)F(x)F(x) 满足：
1. F(x)F(x)F(x) 为非降函数
2. F(−∞)=0,F(+∞)=1F(-\infin) = 0,\space F(+\infin) = 1F(−∞)=0, F(+∞)=1
3. F(x)F(x)F(x) 为右连续，即 F(x+)=lim⁡y↓xF(y)=F(x)F(x^+) = \lim_{y\downarrow x}F(y) = F(x)F(x+)=limy↓xF(y)=F(x)
F(x)F(x)F(x) 左极限 F(x−)=lim⁡y↑xF(y)=P(X<x)F(x^-) = \lim_{y\uparrow x}F(y) = P(X<x)F(x−)=limy↑xF(y)=P(X<x)，因此 FFF 只有跳跃型间断点，且
△xF=F(x+)−F(x−)=P(X≤x)−P(X<x)=P(X=x)\begin{aligned} \triangle_xF &= F(x^+)-F(x^-) \\ &= P(X\leq x)-P(X<x)\\ &= P(X=x) \end{aligned} △xF=F(x+)−F(x−)=P(X≤x)−P(X<x)=P(X=x)
由此可以推出：
1. 分布函数在任何一 xxx 点处的振幅，等于随机变量在这个 xxx 点处取值的概率
2. 连续型随机变量在单点处取值的概率为0
分布函数示例（离散型随机变量）
n元随机变量的分布函数：若 X1,...,XnX_1,...,X_nX1,...,Xn 是随机变量，则称 (X1,...,Xn)(X_1,...,X_n)(X1,...,Xn) 为随机向量或 n维随机变量，且分布函数定义为
F(x1,...,xn)=P(X1≤x1,...,Xn≤xn),x1,...,xn∈RF(x_1,...,x_n) = P\big(X_1\leq x_1,...,X_n\leq x_n\big), x_1,...,x_n \in \mathbb{R} F(x1,...,xn)=P(X1≤x1,...,Xn≤xn),x1,...,xn∈R

1.4 常用的随机变量

2. Riemann-Stieltjes 积分

对于任何随机变量，都有分布函数，根据分布函数性质的不同，可以把随机变量分为
1. 离散型随机变量：分布函数是折线函数
2. 连续型随机变量：分布函数是连续可导函数
本科阶段，对离散型随机变量和连续型随机变量单独定义了数学期望和条件数学期望。但是还有很多分布函数既不是离散的也不是连续的，怎么对这类一般的分布函数定义数学期望呢？这就需要用到 Riemann-Stieltjes 积分。本文先介绍 R-S 积分，然后下篇文章随机过程（1.2）—— 数学期望与条件期望再给出数学期望的相关定义

2.1 Riemann-Stieltjes 积分

定义任何积分，都遵循三个步骤：分割、求和、取极限，前两条对于所有积分都是一样的，不同的取极限方式对应了不同的积分

定义积分 ∫abf(x)dF(x)\int_a^b f(x)dF(x)∫abf(x)dF(x)：
1. 分割：若 f(x),F(x)f(x),F(x)f(x),F(x) 为 [a,b][a,b][a,b] 上的两个函数，在 [a,b][a,b][a,b] 上插入分点：
  a=x0<x1<...<xn=ba = x_0<x_1<...<x_n = b a=x0<x1<...<xn=b
2. 求和：在每一个小区间 [xi−1,xi][x_{i-1},x_i][xi−1,xi] 中任选一点 ξi\xi_iξi，作和式
  σn=∑i=1nf(ξi)(F(xi)−F(xi−1))\sigma_n = \sum_{i=1}^n f(\xi_i)\big(F(x_i)-F(x_{i-1})\big) σn=i=1∑nf(ξi)(F(xi)−F(xi−1))
3. 取极限：若当 λn:=max⁡1≤i≤n{Xi−Xi−1}→0\lambda_n := \max_{1\leq i\leq n}\{X_i-X_{i-1}\} \to 0λn:=max1≤i≤n{Xi−Xi−1}→0 时，σn→σ\sigma_n \to \sigmaσn→σ，则称 f(x)f(x)f(x) 在 [a,b][a,b][a,b] 上关于 F(x)F(x)F(x) R-S 可积，且记
  σ=∫abf(x)dF(x)\sigma = \int_a^bf(x)dF(x) σ=∫abf(x)dF(x)
Riemann-Stieltjes 积分和常见的 Riemann 积分的区别，仅在于微分元从 dxdxdx 变成了 dF(x)dF(x)dF(x)，可以理解为衡量的尺度发生了变化
定理：若 f(x)f(x)f(x) 为 [a,b][a,b][a,b] 上的连续函数 / 单调函数 / 不连续点有可数多个的函数，F(x)F(x)F(x) 为 [a,b][a,b][a,b] 上单调函数，则 f(x)f(x)f(x) 关于 F(x)F(x)F(x) 在 [a,b][a,b][a,b] 上可积。特别的，当 F(x)=xF(x) = xF(x)=x 时，R-S积分退化为常见的 Riemann 积分

2.2 基本性质

以下性质可以通过定义（分割求和取极限）证明

2.3 三个重要例子

2.3.1 关于折线函数的 R-S 积分

若 f(x)f(x)f(x) 在 [a,b][a,b][a,b] 中的点 ccc 处连续，令 Fc(x)={p,x≥cq,x<cF_c(x)=\left\{\begin{aligned}p, \space\space x\geq c \\q,\space\space x<c\end{aligned}\right.Fc(x)={p, x≥cq, x<c，则 ∫abf(x)dFc(x)=f(c)(p−q)\int_a^bf(x)dF_c(x)=f(c)(p-q)∫abf(x)dFc(x)=f(c)(p−q)

2.3.2 关于阶梯函数的 R-S 积分

若 F(x)F(x)F(x) 为阶梯函数（跳跃函数），在 xi(i=1,2,...,n)x_i(i=1,2,...,n)xi(i=1,2,...,n) 处的振幅为 pip_ipi，若 f(x)f(x)f(x) 在这些间断点处连续，则 ∫abf(x)dFc(x)=∑i=1nf(xi)pi\int_a^bf(x)dF_c(x)=\sum_{i=1}^nf(x_i)p_i∫abf(x)dFc(x)=i=1∑nf(xi)pi
由此可得离散型随机变量的期望，详见下篇文章

2.3.3 关于连续函数的 R-S 积分

若 F′(x)=p(x)F'(x) = p(x)F′(x)=p(x)，则 ∫abf(x)dFc(x)=∫abf(x)p(x)dx\int_a^bf(x)dF_c(x)=\int_a^bf(x)p(x)dx∫abf(x)dFc(x)=∫abf(x)p(x)dx
由此可得连续型随机变量的期望，详见下篇文章

随机过程（1.1）—— 概率空间、分布函数、Riemann-Stieltjes 积分相关推荐

应用随机过程笔记第二周
随机过程第二周笔记第一天 2.1.1概念 2.1.2 基本特性有限维分布函数定义2.1 Kolmogonov概率分布函数存在定理基本数字特征联合特性和复过程联合概率密度函数 (n+m)维联 ...
通信原理：课程学习笔记3之确知信号和随机过程
文章目录 1 确知信号 2 随机过程写在前面:本文源自笔者在大三时对北师大-人工智能学院-郭俊奇老师的"通信原理"课程的部分归纳与整理笔记.此处感谢郭俊奇老师!如发现笔者整理有误 ...
非标准正态分布的累计分布函数
非标准正态分布的累计分布函数可以通过积分和拟合的方法来求得.对于每一个随机变量,其累计分布函数定义为该随机变量的概率密度函数的积分.非标准正态分布的累计分布函数在没有公式解析解的情况下,可以通过计算机 ...
FastGCN： fast learning with graph convolutional networks via importance sampling 论文详解 ICLR 2018
文章目录 1 简单介绍概率测度 probability measure 自助法 bootstrapping GCN面临的两个挑战解决思路(创新点) 2 相关工作 3 通过采样进行训练和推理定理1 ...
UA MATH565C 随机微分方程I SDE的定义与例子
UA MATH565C 随机微分方程I SDE的定义与例子随机微分方程的定义白噪声过程 SDE的一般形式例子:Ornstein-Uhlenbeck过程随机微分方程的定义经典力学中描述一个确定 ...
重尾（heavy-tailed）、肥尾（fat-failed）、长尾（long-tailed）、次指数（subexponential）
目录重尾分布(heavy-tailed distribution) 肥尾分布(fat-failed distribution) 长尾分布(long-tailed distribution) 次指数分 ...
【初等概率论】 04
随机变量的分布函数包含了它的全部信息,随之我们就需要对随机变量进行一些定量分析,即通过相对简单的数值来度量随机变量的某些特征.有些特征对于随机变量来说比较基本.比较重要,比如平均值.分散程度等,本篇就 ...
3.1 关于半鞅的随机积分（Ren）
3.1 关于半鞅的随机积分(Ren) 若X=M+AX=M+AX=M+A,其中M∈Mloc,A∈VM \in M^ {loc} ,A \in VM∈Mloc,A∈V,HHH为可选过程,则定义过程Y:=H ...
用贝叶斯来看看抛硬币的概率
前面介绍了贝叶斯学派的思想和先验分布.后验分布的相关知识,古典频率学派认为抛硬币的概率是常数,本文从贝叶斯学派的角度看待抛硬币的概率问题.本文详细介绍了分布,重述贝叶斯思想,对于抛硬币的概率问题作 ...

随机过程（1.1）—— 概率空间、分布函数、Riemann-Stieltjes 积分

文章目录

1. 概率空间与分布函数

1.1 概率空间 {Ω,F,P}\{\Omega,\mathscr{F},P\}{Ω,F,P}

1.1.1 样本空间

1.1.2 事件域

1.1.3 概率

1.2 随机变量

1.3 分布函数

1.4 常用的随机变量

2. Riemann-Stieltjes 积分

2.1 Riemann-Stieltjes 积分

2.2 基本性质

2.3 三个重要例子

2.3.1 关于折线函数的 R-S 积分

2.3.2 关于阶梯函数的 R-S 积分

2.3.3 关于连续函数的 R-S 积分

随机过程（1.1）—— 概率空间、分布函数、Riemann-Stieltjes 积分相关推荐

最新文章

热门文章