条件概率

有R-N定理，条件概率 P(A∣C)\mathbf{P}(A \mid \mathcal{C})P(A∣C) a.e. 唯一。
要让
E(X∣C)=∫XP(dw′∣C)\mathbf{E}(X\mid \mathcal{C})=\int X \mathbf{P}(dw^{'} \mid \mathcal{C}) E(X∣C)=∫XP(dw′∣C)
成立，那么需要对每个 ω∈Ω\omega \in \Omegaω∈Ω ，上述关系都成立。
为了保证可积性，对 ∀A∈σ(X)\forall A \in \sigma(X)∀A∈σ(X) ，P(A∣C)\mathbf{P}(A \mid \mathcal{C})P(A∣C) 是概率测度。
但是， P(A∣C)\mathbf{P}(A \mid \mathcal{C})P(A∣C) a.e. 唯一的，因此不意味着对每个 ω∈Ω\omega \in \Omegaω∈Ω 都是概率测度。因此，对于 ∀A∈σ(X)\forall A \in \sigma(X)∀A∈σ(X) ，都存在 NAN_ANA 是一个关于 AAA 的零测集，使得在 NAN_ANA 上 P(A∣C)\mathbf{P}(A \mid \mathcal{C})P(A∣C) 可能不是概率测度。取遍 σ(X)\sigma(X)σ(X) 上所有的集合，这些不满足的零测集合起来不一定还是零测集，因此要使得上述积分成立不是显然的。

正则条件概率

7.5 .1 定义 \quad 设 F1,C\mathcal{F}_{1}, \mathcal{C}F1,C 是 F\mathcal{F}F 下的子 σ\sigmaσ 域, Ω×F1\Omega \times \mathcal{F}_{1}Ω×F1 上函数 PC(ω,A),\mathbf{P}^{\mathcal{C}}(\omega, A),PC(ω,A), 若满足:
(1) ∀ω∈Ω,PC(ω,⋅)\forall \omega \in \Omega, \mathbf{P}^{\mathcal{C}}(\omega, \cdot)∀ω∈Ω,PC(ω,⋅) 是 F1\mathcal{F}_{1}F1 上概率测度；
(2) ∀A∈F1,Pc(⋅,A)\forall A \in \mathcal{F}_{1}, \mathbf{P}^{c}(\cdot, A)∀A∈F1,Pc(⋅,A) 是 C\mathcal{C}C 上可测函数。
对于任意 AAA，存在 C\mathcal{C}C 上零测集 NNN，使得PC(ω,A)=P(A∣C)(ω),ω∈Nc,\mathbf{P}^{\mathcal{C}}(\omega, A)=\mathbf{P}(A \mid \mathcal{C})(\omega), \omega \in N^{c},PC(ω,A)=P(A∣C)(ω),ω∈Nc, 则称 pc(ω,A),(ω,A)∈Ω×F1\mathbf{p}^{c}(\omega, A),(\omega, A) \in \Omega \times \mathcal{F}_{1}pc(ω,A),(ω,A)∈Ω×F1 为 F1\mathcal{F}_{1}F1 在 C\mathcal{C}C之下的正则条件概率.

正则条件概率非常简单粗暴，他就是直接满足上述积分式子的东西，而且约等于条件概率。但是，需要验证是否存在。

设 PC(ω,A),(ω,A)∈Ω×F1\mathrm{P}^{\mathcal{C}}(\omega, A),(\omega, A) \in \Omega \times \mathcal{F}_{1}PC(ω,A),(ω,A)∈Ω×F1 为 F1\mathcal{F}_{1}F1 在 C\mathcal{C}C 之下的正则条件概率, XXX 为 F1\mathcal{F}_{1}F1 可测函数, 则对任何一个取定的条件期望 E(X∣C),\mathbf{E}(X \mid \mathcal{C}),E(X∣C), 存在一个 Pc\mathbf{P}_{c}Pc 零概率集 NNN 使得
E(X∣C)(ω)=∫ΩX(ω′)PC(ω,dω′),ω∈Nc\mathbf{E}(X \mid \mathcal{C})(\omega)=\int_{\Omega} X\left(\omega^{\prime}\right) \mathbf{P}^{\mathcal{C}}\left(\omega, \mathrm{d} \omega^{\prime}\right), \quad \omega \in N^{\mathrm{c}} E(X∣C)(ω)=∫ΩX(ω′)PC(ω,dω′),ω∈Nc

正则条件概率存在性

若 (E,B)(E, \mathscr{B})(E,B) 为完备可分距离空间，P\mathbf{P}P 为其上测度，那么对任何子 σ\sigmaσ 域 C⊂B\mathcal{C} \subset \mathscr{B}C⊂B ， B\mathscr{B}B 在 C\mathcal{C}C 之下的正则条件概率总存在。

我们不证明这个定理，但是看下证明中怎么取的正则条件概率。
取的正则条件概率为：

任取定 ω0∈Nc,\omega_{0} \in N^{c},ω0∈Nc, 令
U(ω,A)={R1(ω,A),ω∈Nc,A∈BR1(ω0,A),ω∈N,A∈BU(\omega, A)=\left\{\begin{array}{ll} R_{1}(\omega, A), & \omega \in N^{c}, A \in \mathscr{B} \\ R_{1}\left(\omega_{0}, A\right), & \omega \in N, A \in \mathscr{B} \end{array}\right. U(ω,A)={R1(ω,A),R1(ω0,A),ω∈Nc,A∈Bω∈N,A∈B

R1(ω,⋅)R_{1}(\omega, \cdot)R1(ω,⋅) 的取法是，由 R(ω,⋅)R( \omega, \cdot )R(ω,⋅) 扩张成的有限测度。

从中我们看出，正则条件概率取得值就是条件概率中“正常”的那些值，不正常的值用正常的值代替。

转移概率

6.1.15 定义 \quad 设 (Ωi,Fi),i=1,2\left(\Omega_{i}, \mathcal{F}_{i}\right), i=1,2(Ωi,Fi),i=1,2 是可测空间, 映射 λ:Ω1×F2→[0,∞]\lambda: \Omega_{1} \times \mathcal{F}_{2} \rightarrow[0, \infty]λ:Ω1×F2→[0,∞]
如果满足下列条件,则称它为 (Ω1,F1)\left(\Omega_{1}, \mathcal{F}_{1}\right)(Ω1,F1) 到 (Ω2,F2)\left(\Omega_{2}, \mathcal{F}_{2}\right)(Ω2,F2) 上的转移测度, 简称为 Ω1×\Omega_{1} \timesΩ1×
F2\mathcal{F}_{2}F2 上的转移测度.
(i) ∀B∈F2,λ(⋅,B)\forall B \in \mathcal{F}_{2}, \lambda(\cdot, B)∀B∈F2,λ(⋅,B) 是 F1\mathcal{F}_{1}F1 可测函数 ;;;
(ii) ∀ω∈Ω1,λ(ω,⋅)\forall \omega \in \Omega_{1}, \lambda(\omega, \cdot)∀ω∈Ω1,λ(ω,⋅) 是 F2\mathcal{F}_{2}F2 上的测度.
若 ∃Bkn∈Fk,n∈N\exists B_{k n} \in \mathcal{F}_{k}, n \in \mathrm{N}∃Bkn∈Fk,n∈N 两两不交, Ωk=⋃n=1∞Bkn,k=1,2,\Omega_{k}=\bigcup_{n=1}^{\infty} B_{k n}, k=1,2,Ωk=⋃n=1∞Bkn,k=1,2, 使得
sup⁡ω∈B1mλ(ω,B2n)<∞,∀m,n∈N\sup _{\omega \in B_{1 m}} \lambda\left(\omega, B_{2 n}\right)<\infty, \forall m, n \in \mathrm{N} ω∈B1msupλ(ω,B2n)<∞,∀m,n∈N
则称 λ\lambdaλ 为 σ\sigmaσ 有限转移测度.
如果 ∀ω∈Ω1,λ(ω,Ω2)=1,\forall \omega \in \Omega_{1}, \lambda\left(\omega, \Omega_{2}\right)=1,∀ω∈Ω1,λ(ω,Ω2)=1, 则称 λ\lambdaλ 为 Ω1×F2\Omega_{1} \times \mathcal{F}_{2}Ω1×F2 上的转移概率，显然转移概率是 σ\sigmaσ 有限转移测度.

7.5.13 定理

若 (Ek,Bk),k=1,2,3,⋯,n\left(E_{k}, \mathscr{B}_{k}\right), k=1,2,3, \cdots, n(Ek,Bk),k=1,2,3,⋯,n 是完备可分距离可测空间，
(Ek,Bk)\left(E^{k}, \mathscr{B}^{k}\right)(Ek,Bk) 是前 kkk 个可测空间的乘积可测空间，有测度 P\mathbf{P}P。则存在 (E1,B1)\left(E_{1}, \mathscr{B}_{1}\right)(E1,B1) 上概率测度 P1P_{1}P1 及 Ek−1×BkE^{k-1} \times \mathscr{B}_{k}Ek−1×Bk 上转移概率 Pk(x1,x2,⋯,P_{k}\left(x_{1}, x_{2}, \cdots,\right.Pk(x1,x2,⋯, xk−1,A),(x1,x2,⋯,xk−1)∈Ek−1,A∈Bk,k=2,3,⋯,n,\left.x_{k-1}, A\right),\left(x_{1}, x_{2}, \cdots, x_{k-1}\right) \in E^{k-1}, A \in \mathscr{B}_{k}, k=2,3, \cdots, n,xk−1,A),(x1,x2,⋯,xk−1)∈Ek−1,A∈Bk,k=2,3,⋯,n, 使 B∈Bn,B \in \mathscr{B}^{n},B∈Bn, 有
P(B)=∫E∫E⋯∫EIB(x1,x2,⋯,xn)Pn(x1,x2,⋯,xn−1,dxn)⋯P2(x1,dx2)P1(dx1)\begin{array}{c} \mathbf{P}(B)=\int_{E} \int_{E} \cdots \int_{E} I_{B}\left(x_{1}, x_{2}, \cdots, x_{n}\right) \\ P_{n}\left(x_{1}, x_{2}, \cdots, x_{n-1}, d x_{n}\right) \cdots P_{2}\left(x_{1}, d x_{2}\right) P_{1}\left(d x_{1}\right) \end{array} P(B)=∫E∫E⋯∫EIB(x1,x2,⋯,xn)Pn(x1,x2,⋯,xn−1,dxn)⋯P2(x1,dx2)P1(dx1)

证明：取
Cn−1:={Bn−1×En:Bn−1∈Bn−1}\mathcal{C}_{n-1}:=\left\{B^{n-1} \times E_{n}: B^{n-1} \in \mathscr{B}^{n-1} \right\} Cn−1:={Bn−1×En:Bn−1∈Bn−1}
则一定存在在 Cn−1\mathcal{C}_{n-1}Cn−1 之下的条件概率
PCn−1(x,A),(x,A)∈En×Bn\mathbf{P}^{\mathcal{C}_{n-1}}(x, A), \quad(x, A) \in E^{n} \times \mathscr{B}^{n} PCn−1(x,A),(x,A)∈En×Bn
由于对任意 (x1,x2,⋯,xn−1),(x1,x2,⋯,xn−1)×En\left(x_{1}, x_{2}, \cdots, x_{n-1}\right),\left(x_{1}, x_{2}, \cdots, x_{n-1}\right) \times E_{n}(x1,x2,⋯,xn−1),(x1,x2,⋯,xn−1)×En 是 Cn−1\mathcal{C}_{n-1}Cn−1 的原子, 故
∀A∈Bn,P(A∣Cn−1)=μ(A;x1,x2,⋯,xn−1),∀(x1,x2,⋯,xn)∈(x1,x2,⋯,xn−1)×En\forall A \in \mathscr{B}^{n},\quad \mathbf{P}(A \mid \mathcal{C}_{n-1})=\mu(A; x_{1}, x_{2}, \cdots, x_{n-1}), \quad \forall \left(x_{1}, x_{2}, \cdots, x_{n}\right) \in \left(x_{1}, x_{2}, \cdots, x_{n-1}\right)\times E_{n} ∀A∈Bn,P(A∣Cn−1)=μ(A;x1,x2,⋯,xn−1),∀(x1,x2,⋯,xn)∈(x1,x2,⋯,xn−1)×En

μ(A;x1,x2,⋯,xn−1)\mu(A; x_{1}, x_{2}, \cdots, x_{n-1})μ(A;x1,x2,⋯,xn−1) 是和 A,(x1,x2,⋯,xn−1)A, \left(x_{1}, x_{2}, \cdots, x_{n-1}\right)A,(x1,x2,⋯,xn−1) 有关的常数。

所以：
Pn(x1,x2,⋯,xn−1,Bn):=PCn−1(x1,x2,⋯,xn,En−1×Bn)P_{n}\left(x_{1}, x_{2}, \cdots, x_{n-1}, B_{n}\right):=\mathbf{P}^{\mathcal{C}_{n-1}}\left(x_{1}, x_{2}, \cdots, x_{n}, E^{n-1} \times B_{n}\right) Pn(x1,x2,⋯,xn−1,Bn):=PCn−1(x1,x2,⋯,xn,En−1×Bn)
定义了 En−1×BnE^{n-1} \times \mathscr{B}_{n}En−1×Bn 上的函数, 而且由正则条件概率的定义易知它是 (En−1,Bn−1)\left(E^{n-1}, \mathscr{B}^{n-1} \right)(En−1,Bn−1) 到 (En,Bn)\left(E_{n}, \mathscr{B}_{n} \right)(En,Bn) 上的转移概率。

注意： (En−1,Bn−1)\left(E^{n-1}, \mathscr{B}^{n-1} \right)(En−1,Bn−1) 到 (En,Bn)\left(E_{n}, \mathscr{B}_{n} \right)(En,Bn) 上的转移概率是由正则条件概率保证的，前面论述的原子、条件概率等是为了保证这样的定义是函数。如果条件概率不是常数，那么不一定就是函数。如果条件概率是常数，那么正则条件概率在零测集上任取，可以取成常数，其他集合上需要和条件概率一致，因此需要条件概率是常数的条件。

Tulcea定理

Tulcea定理的条件是任意有限nnn，存在转移概率。上述定理回答了这一点。

Kolmogorov相容性定理

Kolmogorov相容性定理需要先用Tulcea找出可列维上的测度。

条件概率和正则概率（完）相关推荐

干货来袭！3天0基础Python实战项目快速学会人工智能必学数学基础全套（含源码）（第3天）概率分析篇：条件概率、全概率与贝叶斯公式
第1天:线性代数篇:矩阵.向量.实战编程第2天:微积分篇:极限与导数.梯度下降.积分.实战编程第3天:概率分析篇:条件概率与全概率.贝叶斯公式.实战项目目录前言一.概率与机器学习 1.1 概 ...
条件概率，全概率，贝叶斯公式理解
简介学过概率理论的人都知道条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B):即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率.由条件概率公式推导出贝叶 ...
概率论与数理统计（一）—— 联合概率、条件概率与边缘概率
0. 联合概率.条件概率与边缘概率的关系假定已知联合概率分布 p(x,y)p(x,y),现求 p(y|x0)p(y|x_0), p(y|x0)=p(x0,y)p(x0)=p(x0,y)∑yp(x0, ...
python如何计算概率事件_「条件概率公式」scikit-learn机器学习（五）--条件概率，全概率和贝叶斯定理及python实现 - seo实验室...
条件概率公式在理解贝叶斯之前需要先了解一下条件概率和全概率,这样才能更好地理解贝叶斯定理一丶条件概率条件概率定义:已知事件A发生的条件下,另一个事件B发生的概率成为条件概率,即为P(B|A) 如 ...
条件概率、全概率、先验概率、后验概率
** 前言 ** 条件概率,全概率,先验概率,后验概率这么多的定义,以前是几乎遇见一次都要百度一次,一看就会,然而没有做好总结下一次还是会忘掉,好记性终究敌不过烂笔头,这次做个总结,一劳永逸,个人 ...
概率与统计进阶（1）——概率统计的基础概念：条件概率、全概率、贝叶斯公式
文章目录 1. 基本(核心)概念事件与样本点 2. 通理和思维 2.1 通理概率的加法法则概率的乘法法则 2.2 思维(经验/技巧) 3. 条件概率 4. 全概率 5. 贝叶斯公式总结从本质 ...
概率论知识回顾（三）：事件域，条件概率，全概率，贝叶斯概率
概率论知识回顾(三) 关键点:事件域,条件概率,全概率,贝叶斯概率知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. ...
概率论与数理统计学习笔记（2）——联合概率、条件概率与边缘概率
这篇文章主要是从一个直观的概念上讲解联合概率.条件概率与边缘概率. 主要是之前看了篇论文,用的SO-PMI算法,然后我就恶补了一下联合概率. 本篇博客采用的参考书是<程序员的数学2概率统计> ...
条件概率、全概率、先验概率、后验概率、类条件概率
注:A表示事情的结果,B={B1,B2-}表示事情发生的原因条件概率在原因B发生的条件下,结果A发生的概率: 全概率假如结果A发生的原因有B1,B2-等多种原因,则全概率公式如下: 先验概率 ...
概率论复习笔记——条件概率、全概率、贝叶斯公式及其应用
概统笔记--贝叶斯公式条件概率乘法定理全概率公式和贝叶斯公式样本空间全概率公式贝叶斯公式相关应用条件概率定义设 A , B A,B A,B是两个事件,且 P ( A ) > ...

条件概率和正则概率（完）