UA MATH563 概率论的数学基础鞅论初步1 条件期望

概率论很多结论是用来处理独立的随机变量序列的，而独立性是一个非常强的假设，所以我们也需要一些能够处理非独立的随机变量序列的方法，鞅就是这些方法中应用比较广泛的一种，所以从这部分开始我们介绍鞅以及相关的结果。这一讲我们先介绍鞅论需要的基本结构——条件期望。

在学习高中数学的时候，我们就知道了对于A,BA,BA,B两个事件，条件概率的定义是
P(A∣B)=P(A∩B)P(B)P(A|B) = \frac{P(A \cap B)}{P(B)}P(A∣B)=P(B)P(A∩B)

在这个定义下，我们用P(⋅∣B)P(\cdot|B)P(⋅∣B)表示条件概率测度，不严谨地记法，P(⋅∣B)=P(⋅)/P(B)P(\cdot|B)=P(\cdot)/P(B)P(⋅∣B)=P(⋅)/P(B)，定义某个随机变量的条件期望为
E[X∣B]=∫XdP(⋅∣B)=∫BXdPP(B)E[X|B]=\int X dP(\cdot|B)= \frac{\int_B XdP}{P(B)}E[X∣B]=∫XdP(⋅∣B)=P(B)∫BXdP

到现在为止，它可以是一个严谨的记号了，因为我们对概率空间、随机变量、以及定义期望所需要的积分理论都有完整的定义。但一个新的问题也就可以提出来了，condition on一个事件的条件概率不足以帮助我们回答所有问题，尤其是当我们研究的对象是一列随机变量序列的时候，因此接下来我们要做的事情是把这个condition on一个事件的条件概率推广到condition on一系列事件、事件的代数甚至更广义的随机元的条件概率。

进行这个推广之前，我们先回顾一下独立性的定义。

两个σ\sigmaσ-代数互相独立：假设A,B\mathcal{A}, \mathcal{B}A,B是非空集合XXX的两个σ\sigmaσ-代数，并且测度μ\muμ在可测空间(X,A)(X,\mathcal{A})(X,A)与(X,B)(X,\mathcal{B})(X,B)上都可以被定义，称这两个σ\sigmaσ-代数互相独立如果
∀A∈A,B∈B,μ(A∩B)=μ(A)μ(B)\forall A \in \mathcal{A},B \in \mathcal{B},\mu(A \cap B) = \mu(A)\mu(B)∀A∈A,B∈B,μ(A∩B)=μ(A)μ(B)

随机变量生成的σ\sigmaσ-代数：假设X:(Ω,B,P)→(R,B(R))X:(\Omega,\mathcal{B},P)\to (\mathbb{R},\mathcal{B}(\mathbb{R}))X:(Ω,B,P)→(R,B(R))，定义XXX生成的σ\sigmaσ-代数为
σ(X)={X−1(B):B∈B(R)}\sigma(X)=\{X^{-1}(B):B \in \mathcal{B}(\mathbb{R})\}σ(X)={X−1(B):B∈B(R)}

随机变量与σ\sigmaσ-代数互相独立：X:(Ω,B,P)→(R,B(R))X:(\Omega,\mathcal{B},P)\to (\mathbb{R},\mathcal{B}(\mathbb{R}))X:(Ω,B,P)→(R,B(R))，A\mathcal{A}A是B\mathcal{B}B的子σ\sigmaσ-代数，称XXX与A\mathcal{A}A互相独立，如果
∀A∈A,E∈σ(X),P(A∩E)=P(A)μ(E)\forall A \in \mathcal{A},E \in \sigma(X),P(A \cap E) = P(A)\mu(E)∀A∈A,E∈σ(X),P(A∩E)=P(A)μ(E)

两个随机变量互相独立：XXX与YYY互相独立，如果σ(X)\sigma(X)σ(X)与σ(Y)\sigma(Y)σ(Y)互相独立。

我们先引入一些概念性的记号，(Ω,B,P)(\Omega,\mathcal{B},P)(Ω,B,P)是一个概率空间，F\mathcal{F}F是B\mathcal{B}B的一个子σ\sigmaσ-代数，XXX是定义在这个概率空间上的绝对可积的随机变量，即E∣X∣<∞E|X|<\inftyE∣X∣<∞，我们的目标是定义条件期望Y=E[X∣F]Y=E[X|\mathcal{F}]Y=E[X∣F]。

我们先直观理解一下，B\mathcal{B}B表示概率空间上的全部信息（信息可以理解为概率空间上的概率分布的情况），因此E[X∣B]E[X|\mathcal{B}]E[X∣B]表示在掌握了概率空间全部信息的情况下对XXX求期望，显然E[X∣B]=EXE[X|\mathcal{B}]=EXE[X∣B]=EX是一个常数，也就是这个期望就不再具有随机性了。F\mathcal{F}F是B\mathcal{B}B的一个子σ\sigmaσ-代数，说明F\mathcal{F}F只包含概率空间的部分信息，因此利用这些信息对XXX做期望，只能消除F\mathcal{F}F中的随机性，而B∖F\mathcal{B}\setminus \mathcal{F}B∖F上的随机性将被保留，所以E[X∣F]E[X|\mathcal{F}]E[X∣F]仍然是一个随机变量，只是它的随机性不如XXX强，记这个随机变量为YYY。

条件期望的定义
基于这些直观的观察，我们用下面两条公理定义条件期望YYY，

YYY是F\mathcal{F}F-可测的；
∀A∈F\forall A \in \mathcal{F}∀A∈F, ∫AXdP=∫AYdP\int_A XdP = \int_A Y dP∫AXdP=∫AYdP

评注
i）在这个定义中，第一条直观理解非常简单，用直白的话翻译一下就是条件期望可能的取值拉回到概率空间之后肯定也会在F\mathcal{F}F中，再直白一点就是如果我们只知道F\mathcal{F}F这些信息，那么计算条件期望用到的信息肯定都在F\mathcal{F}F中了；第二条直观理解也非常简单，就是对于F\mathcal{F}F中的事件而言，基于XXX或者基于YYY计算的条件期望相等，也就是说X,YX,YX,Y在F\mathcal{F}F上的(积分)表现是一样的；
ii）E[X∣F]E[X|\mathcal{F}]E[X∣F]存在，并且唯一 (a.s.)；
iii）E[X∣F]E[X|\mathcal{F}]E[X∣F]是绝对可积的；
iv）如果XXX是F\mathcal{F}F-可测的，那么E[X∣F]=XE[X|\mathcal{F}]=XE[X∣F]=X
v）如果XXX是常数，则E[X∣F]=XE[X|\mathcal{F}]=XE[X∣F]=X
vi）如果XXX与F\mathcal{F}F独立，则E[X∣F]=E[X]E[X|\mathcal{F}]=E[X]E[X∣F]=E[X]，这里XXX与F\mathcal{F}F独立表示σ(X)\sigma(X)σ(X)与F\mathcal{F}F独立。
vii）条件概率满足，P(B∣F)=E[1B∣F],∀B∈BP(B|\mathcal{F})=E[1_B|\mathcal{F}],\forall B\in \mathcal{B}P(B∣F)=E[1B∣F],∀B∈B

iv)-vii)直接验证定义即可，ii)-iii)的证明比较复杂，需要推导完条件期望的性质后才能证明，可以参考后续的文章。

下面我们再引入一个定义，condition on random variable。假设(Ω,B,P)(\Omega,\mathcal{B},P)(Ω,B,P)是一个概率空间，X,YX,YX,Y是定义在这个概率空间上的绝对可积的随机变量，定义
E[X∣Y]=E[X∣σ(Y)]E[X|Y]=E[X|\sigma(Y)]E[X∣Y]=E[X∣σ(Y)]

假设{Yn}\{Y_n\}{Yn}是定义在这个概率空间上的绝对可积的随机变量，则
E[X∣{Yn}]=E[X∣σ({Yn})]E[X|\{Y_n\}]=E[X|\sigma(\{Y_n\})]E[X∣{Yn}]=E[X∣σ({Yn})]

其中σ({Yn})={Yn−1(B):B∈B(R),∀n∈N}\sigma(\{Y_n\})=\{Y_n^{-1}(B):B \in \mathcal{B}(\mathbb{R}),\forall n \in \mathbb{N}\}σ({Yn})={Yn−1(B):B∈B(R),∀n∈N}

评注这个系列的博客是概率论的数学基础，目的是给常用的概率工具建立完备的分析基础，所以关于σ\sigmaσ-代数、测度之类的可以参考实分析那个系列的博客，关于实际计算方面的可以参考概率论(calculus level)那个系列的博客。