文章目录

第一讲随机过程的基本概念
- 一、随机过程的定义
- - Part 1：随机变量
  - Part 2：随机过程
- 二、有限维分布和数字特征
- - Part 1：有限维分布
  - Part 2：数字特征
  - Part 3：特殊随机过程
- 三、二维随机过程
- - Part 1：二维随机过程
  - Part 2：二维随机过程的数字特征

第一讲随机过程的基本概念

一、随机过程的定义

Part 1：随机变量

在介绍随机过程之前，我们先回忆一下随机变量是如何定义的。这一部分是概统中的内容，在这里我们主要对一些有用的概念做一个简单的回顾。

在概率论中的一个基本概念是随机试验，这种试验的结果不能预先确定。一个随机试验所有可能的基本结果的集合称为此试验的样本空间，记为 SSS 。随机变量就是定义在样本空间 SSS 上的实值单值函数，它给样本空间 SSS 中的每一个结果都指定了一个实数值与之对应。

随机变量的定义：设随机试验的样本空间为 SSS ，若 X=X(e)X=X(e)X=X(e) 为定义在样本空间 SSS 的实值单值函数，则称 X=X(e)X=X(e)X=X(e) 为随机变量。这里的 e∈Se\in Se∈S 代表样本空间的元素，称为样本点。

用映射的方式，我们可以将随机变量表示为 X(e):S→RX(e):S\to \mathbb{R}X(e):S→R 。

Part 2：随机过程

随机过程是一族随机变量，主要用于描述随时间变化的随机现象。

随机过程的定义：设 SSS 是样本空间，T⊂RT\subset\mathbb{R}T⊂R ，如果对 ∀t∈T\forall t\in T∀t∈T ，X(t)X(t)X(t) 是 SSS 上的随机变量，则称 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 是 SSS 上的随机过程，称 TTT 为时间参数空间。

用映射的方式，我们可以将随机过程表示为 X(t,e):T×S→RX(t,e):T\times S\to\mathbb{R}X(t,e):T×S→R 。可以看出，随机过程是一个二元实值单值函数。不过这样的定义未免有些抽象，比较容易的理解方式是单独考虑每个参数。

任意给定 t∈Tt\in Tt∈T ，则有 X(t,⋅)X(t,\cdot)X(t,⋅) 是 S→RS\to\mathbb{R}S→R 上的函数，即为 SSS 上的随机变量，其含义为随机过程在 ttt 时刻的状态。
任意给定 e∈Se\in Se∈S ，则有 X(⋅,e)X(\cdot,e)X(⋅,e) 是 T→RT\to\mathbb{R}T→R 上的函数，称为随机过程的样本轨道或样本曲线，其含义为随机过程在 TTT 上的一次实现。

我们将 X(t)X(t)X(t) 的所有可能取值的全体称为状态空间，记为 III 。根据时间参数空间 TTT 和状态空间 III 的不同类别，我们可以将随机过程分为以下四种情况：离散时间离散状态的随机过程、离散时间连续状态的随机过程、连续时间离散状态的随机过程、连续时间连续状态的随机过程。

二、有限维分布和数字特征

Part 1：有限维分布

由于随机过程在任一时刻的状态都是随机变量，因此我们可以也利用概率分布和数字特征来刻画一个随机过程的统计性质。首先我们介绍随机过程的概率分布，这里我们需要引入有限维分布的概念。

一维分布函数：给定随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} ，对于每一个固定的 t∈Tt\in Tt∈T ，随机变量 X(t)X(t)X(t) 的分布函数一般与 ttt 有关，记为
Ft(x)=P(X(t)≤x),x∈R,F_t(x)=P(X(t)\leq x) \ , \quad x\in\mathbb{R} \ , Ft(x)=P(X(t)≤x) ,x∈R ,
称为随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 的一维分布函数。当 ttt 取遍 TTT 中的所有元素时，我们可以得到一系列的分布函数，将这些分布函数的全体所构成的集合称为一维分布函数族，记为 {FX(x;t):t∈T}\left\{F_X(x;t):t\in T\right\}{FX(x;t):t∈T} 。一维分布函数族刻画了随机过程在各个单独时刻的统计特性。

二维分布函数：对于固定的 s,t∈Ts,t\in Ts,t∈T ，将二元随机变量 (X(s),X(t))(X(s),\,X(t))(X(s),X(t)) 的联合分布函数记为
Fs,t(x,y)=P(X(s)≤x,X(t)≤y),x∈R,y∈R,F_{s,t}(x,y)=P(X(s)\leq x,X(t)\leq y) \ , \quad x\in\mathbb{R} \ , \quad y\in\mathbb{R} \ , Fs,t(x,y)=P(X(s)≤x,X(t)≤y) ,x∈R ,y∈R ,
称为随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 的二维分布函数。

nnn 维分布函数：为了描述随机过程在不同时刻状态之间的关系，对任意 nnn 个不同时刻 t1,t2,⋯,tn∈Tt_1,t_2,\cdots,t_n\in Tt1,t2,⋯,tn∈T 引入 nnn 维随机变量 (X(t1),X(t2),⋯,X(tn))(X(t_1),X(t_2),\cdots,X(t_n))(X(t1),X(t2),⋯,X(tn)) 的分布函数，记为
Ft1,t2,⋯,tn(x1,x2,⋯,xn)=P(X(t1)≤x1,X(t2)≤x2,⋯,X(tn)≤xn),xi∈R,i=1,2,⋯,n,\begin{aligned} F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n)=P(X(t_1)\leq x_1,X(t_2)\leq x_2,\cdots,X(t_n)\leq x_n) \ , \\ \\ x_i\in\mathbb{R} \ , \quad i=1,2,\cdots,n \ , \end{aligned} Ft1,t2,⋯,tn(x1,x2,⋯,xn)=P(X(t1)≤x1,X(t2)≤x2,⋯,X(tn)≤xn) ,xi∈R ,i=1,2,⋯,n ,
称为随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 的 nnn 维分布函数。对于固定的 nnn ，类似地我们将所有 nnn 维分布函数所构成的集合称为 nnn 维分布函数族，记为 {Ft1,t2,⋯,tn(x1,x2,⋯,xn):ti∈T,i=1,2,⋯,n}\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n):t_i\in T,i=1,2,\cdots,n\}{Ft1,t2,⋯,tn(x1,x2,⋯,xn):ti∈T,i=1,2,⋯,n} 。当 nnn 充分大时，nnn 维分布函数能够近似地描述随机过程的统计性质。我们把所有可能的 nnn 维分布统称为有限维分布。

如果我们进一步地让 nnn 取遍所有正整数，把任意维分布函数族的元素都放在一起，便可以得到一个更大的集合。这就是随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 的有限维分布函数族，记为
{Ft1,t2,⋯,tn(x1,x2,⋯,xn):n=1,2,⋯,ti∈T,i=1,2,⋯,n}.\left\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n):n=1,2,\cdots,\,t_i\in T,\,i=1,2,\cdots,n\right\} \ . {Ft1,t2,⋯,tn(x1,x2,⋯,xn):n=1,2,⋯,ti∈T,i=1,2,⋯,n} .
为了便于理解，我们可以将有限维分布函数族用集合的并表示：
⋃n=1∞{Ft1,t2,⋯,tn(x1,x2,⋯,xn):ti∈T,i=1,2,⋯,n}.\bigcup_{n=1}^\infty\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n):t_i\in T,i=1,2,\cdots,n\} \ . n=1⋃∞{Ft1,t2,⋯,tn(x1,x2,⋯,xn):ti∈T,i=1,2,⋯,n} .
Kolmogorov 定理：有限维分布函数族完全地确定了随机过程的统计性质。

以上就是关于随机过程的概率分布的内容，从概念上理解较为抽象，需要结合题目加以练习。这里需要强调一点，随机过程在不同的时间点的随机变量不一定独立，其联合分布需要根据具体过程的性质加以计算。

Part 2：数字特征

Kolmogorov 定理可以告诉我们，一个随机过程的有限维分布函数族包含了关于这个随机过程的所有信息。但在实际工作中，我们很难确定一个随机过程完整的有限维分布函数族，因此我们需要引入某些数字特征来反映随机过程的主要性质。一般地，随机过程的数字特征是定义在时间参数空间 TTT 上的函数。

对于随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} ，我们主要研究它的均值函数、方差函数、自协方差函数和自相关函数。这里我们也会介绍一些由这些数字特征诱导出来的其他数字特征，例如均方函数和标准差函数。

均值函数：μX(t)=E[X(t)]\mu_X(t)={\rm E}[X(t)]μX(t)=E[X(t)] 。
二阶矩函数：ψX2(t)=E[X(t)]2\psi_X^2(t)={\rm E}\left[X(t)\right]^2ψX2(t)=E[X(t)]2 。
方差函数：σX2(t)=Var(X(t))\sigma_X^2(t)={\rm Var}(X(t))σX2(t)=Var(X(t)) 。
标准差函数：σX(t)=σX2(t)\sigma_X(t)=\sqrt{\sigma_X^2(t)}σX(t)=σX2(t) 。
自相关函数：rX(s,t)=E[X(s)X(t)]r_X(s,t) ={\rm E}[X(s)X(t)]rX(s,t)=E[X(s)X(t)] 。
自协方差函数：CX(s,t)=Cov(X(s),X(t))C_X(s,t) ={\rm Cov}(X(s),X(t))CX(s,t)=Cov(X(s),X(t)) 。

利用期望、方差和协方差的运算性质，我们可以得到随机过程的数字特征之间的关系：

二阶矩函数和自相关函数具有如下关系：

ψX2(t)=rX(t,t).\psi_X^2(t)=r_X(t,t) \ . ψX2(t)=rX(t,t) .

方程函数和自协方差函数具有如下关系：

σX2(t)=CX(t,t).\sigma^2_X(t)=C_X(t,t) \ . σX2(t)=CX(t,t) .

自协方差函数和自相关函数具有如下关系：

CX(s,t)=rX(s,t)−μX(s)μX(t).C_X(s,t)=r_X(s,t)-\mu_X(s)\mu_X(t) \ . CX(s,t)=rX(s,t)−μX(s)μX(t) .

自相关函数和自协方差函数是对称函数：

rX(s,t)=rX(t,s),CX(s,t)=CX(t,s).r_X(s,t)=r_X(t,s) \ , \quad C_X(s,t)=C_X(t,s) \ . rX(s,t)=rX(t,s) ,CX(s,t)=CX(t,s) .

Part 3：特殊随机过程

在随机过程的数字特征中，我们关注最多的就是均值函数和自协方差函数。一方面是因为其他的数字特征都可以由均值函数和自协方差函数诱导得出，另一方面是因为均值函数和自协方差函数已经概括了随机过程较为核心的性质。我们从这两个数字特征出发，介绍一些特殊的随机过程。

二阶矩过程：如果对每一个 t∈Tt\in Tt∈T ，随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 的二阶矩 E[X(t)]2{\rm E}[X(t)]^2E[X(t)]2 都存在，则称该随机过程为二阶矩过程。这里二阶矩 E[X(t)]2{\rm E}[X(t)]^2E[X(t)]2 存在的含义是 E[X(t)]2<∞{\rm E}\left[X(t)\right]^2<\inftyE[X(t)]2<∞ 。可以证明，二阶矩过程的均值函数、方差函数、自相关函数和自协方差函数都是存在的。

正态过程：对于随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} ，如果它的每一个有限维分布都是正态分布，则称该随机过程为正态过程或高斯过程。正态过程是一种特殊的二阶矩过程。正态过程的统计性质完全由它的均值函数和自协方差函数所确定，即正态过程的有限维分布完全由它的均值函数和自协方差函数所确定。

白噪声过程：设随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 是零均值随机过程，如果对任意的 s≠ts\neq ts=t 都有 rX(s,t)=0r_X(s,\,t)=0rX(s,t)=0 ，则称该随机过程是白噪声过程。

三、二维随机过程

Part 1：二维随机过程

在实际问题中，我们有时需要研究两个或两个以上随机过程及它们之间的统计关系。除了单独研究各个随机过程的统计性质之外，还需要将几个随机过程作为整体，进一步研究其统计性质。这里我们主要讨论一下二维随机过程的定义和随机过程的独立性。

二维随机过程的定义：设 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 和 {Y(t):t∈T}\{Y(t):t\in T\}{Y(t):t∈T} 是依赖于同一时间参数 t∈Tt\in Tt∈T 的随机过程，对于任意的 t∈Tt\in Tt∈T ，都有 (X(t),Y(t))(X(t),Y(t))(X(t),Y(t)) 是二维随机向量，则称 {(X(t),Y(t)):t∈T}\{(X(t),Y(t)):t\in T\}{(X(t),Y(t)):t∈T} 为二维随机过程。

随机过程的独立性：对于随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 和 {Y(t):t∈T}\{Y(t):t\in T\}{Y(t):t∈T} ，如果对任意的正整数 nnn 和 mmm 以及任意的实数 t1,t2⋯,tn∈Tt_1,t_2\cdots,t_n\in Tt1,t2⋯,tn∈T 和 t1′,t2′,⋯,tm′∈Tt_1',t_2',\cdots,t_m'\in Tt1′,t2′,⋯,tm′∈T ，都有 nnn 维随机向量 (X(t1),X(t2),⋯,X(tn))(X(t_1),X(t_2),\cdots,X(t_n))(X(t1),X(t2),⋯,X(tn)) 和 mmm 维随机向量 (Y(t1′),Y(t2′),⋯,Y(tm′))(Y(t_1'),Y(t_2'),\cdots,Y(t_m'))(Y(t1′),Y(t2′),⋯,Y(tm′)) 相互独立，则称随机过程 {X(t)}\{X(t)\}{X(t)} 和 {Y(t)}\{Y(t)\}{Y(t)} 相互独立。

Part 2：二维随机过程的数字特征

二维随机过程的统计性质同样可以用概率分布和数字特征来刻画，由于二维随机过程的有限维分布并不常用，且在实际问题中往往很难求出，因此我们只介绍二维随机过程的数字特征。关于数字特征，除了每个随机过程各自的均值函数和自相关函数之外，我们还需要引入互相关函数和互协方差函数，用来刻画一个二维随机过程中的两个随机过程之间的关系。

互相关函数：rXY(s,t)=E[X(s)Y(t)]r_{XY}(s,t)={\rm E}\left[X(s)Y(t)\right]rXY(s,t)=E[X(s)Y(t)] 。
互协方差函数：CXY(s,t)=Cov(X(s),Y(t))C_{XY}(s,t)={\rm Cov}(X(s),Y(t))CXY(s,t)=Cov(X(s),Y(t)) 。

随机过程的相关性：对于随机过程 {X(t):t∈T}\{X(t):t\in T\}{X(t):t∈T} 和 {Y(t):t∈T}\{Y(t):t\in T\}{Y(t):t∈T} ，如果对任意的 s,t∈Ts,t\in Ts,t∈T ，都有 CXY(s,t)=0C_{XY}(s,t)=0CXY(s,t)=0 ，则称随机过程 {X(t)}\{X(t)\}{X(t)} 和 {Y(t)}\{Y(t)\}{Y(t)} 不相关。

一般地，如果随机过程 {X(t)}\{X(t)\}{X(t)} 和 {Y(t)}\{Y(t)\}{Y(t)} 不相关，不能推出它们相互独立。但如果随机过程 {X(t)}\{X(t)\}{X(t)} 和 {Y(t)}\{Y(t)\}{Y(t)} 相互独立，且随机过程 {X(t)}\{X(t)\}{X(t)} 和 {Y(t)}\{Y(t)\}{Y(t)} 都是二阶矩过程，则一定有它们不相关。

最后需要强调一点，在使用两个随机过程 {X(t)}\{X(t)\}{X(t)} 和 {Y(t)}\{Y(t)\}{Y(t)} 的互相关函数和互协方差函数之前，需要保证每个随机过程自身都是二阶矩过程，即对每一个 t∈Tt\in Tt∈T 都有 E[X(t)]2<∞{\rm E}\left[X(t)\right]^2<\inftyE[X(t)]2<∞ 和 E[Y(t)]2<∞{\rm E}\left[Y(t)\right]^2<\inftyE[Y(t)]2<∞ 。

【应用随机过程】01. 随机过程的基本概念相关推荐

【随机过程】随机过程第一章随机过程的基本概念
1.理解随机过程: 随机过程X(t,ω)可看成定义在积集T×Ω上的二元函数: (一元是时间t,一元是随机变量ω) (1)当固定t∈T,X_t (ω)=X(t,ω)是一个定义在(Ω, F, P)随机变量 ...
【随机过程】随机过程之泊松过程的推广
[随机过程]随机过程之泊松过程的推广声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 泊松过程的两个定义 def 1: 计数过程,增量独立,增量服从泊松分布: ...
【随机过程】随机过程之更新过程(2)
[随机过程]随机过程之更新过程(2) 标签(空格分隔): [信号处理] 声明:引用请注明出处http://blog.csdn.net/lg1259156776/ 说明:关于更新过程,内容也不少,但是核 ...
（01）FPGA时序分析概念
(01)FPGA时序分析概念 1 文章目录 1)文章目录 2)时序约束引言 3)FPGA时序约束课程介绍 4)FPGA时序分析概念 5)技术交流 6)参考资料 2 时序约束引言 1)什么是静态时序分析 ...
概率图与随机过程：概率统计基本概念与人工智能应用之间的桥梁
在机器学习算法的修炼道路中,概率图模型和随机过程对很多同学而言是一个巨大的拦路虎.很多同学会有这样一种感觉:这里面所涉及的模型概念可是真多啊!三两下就给整蒙了: 概率模型.图模型还没整明白,又来了个概 ...
随机过程（一）基础概念与随机过程基本类型
文章目录 1.1 概率空间 1.2 随机变量 1.3随机变量函数的分布 1.4随机变量的数字特征 1.5随机过程的定义和统计描述 1.6 随机过程分布律和数字特征 1.7 复随机过程 1.8 随机过程 ...
随机过程(一)-随机过程及其统计描述：随机过程{X(t,e),t∈T}、状态空间、样本函数/样本曲线、伯努利过程、离散型随机过程、连续性随机过程、正交增量过程、高斯过程、泊松过程、维纳过程
1 随机过程的概念 2 随机过程的统计描述 3 泊松过程及维纳过程
蔡高厅高等数学-01-第一章01 前言-函数的概念-区间-邻域
视频 01 前言内容 : 一元多元函数微积分空间解析几何无穷级数和微分方程目标 :基本知识.基本理论.基本计算方法,提供数学素养培养学生抽象思维与逻辑推理的能力.辩证的思想方法培 ...
01、Python基本概念及基本数据类型
PYTHON基本概念和基本数据类型一.基本概念 1.变量: 变量是编程语言中最基本的概念,和字面意思一样,指的就是他们的值可变,和我们以前学习的方程类似,变量可以代入任何值. 命名规范: 变量一般使 ...
【通信原理】严平稳随机过程广义平稳随机过程高斯随机过程
目录定义介绍严平稳随机过程: 广义平稳随机过程: 高斯随机过程: 问题解答 Question1:为什么广义平稳随机过程不一定是严平稳随机过程? Question2:为什么高斯过程若是广义平稳的,则 ...

【应用随机过程】01. 随机过程的基本概念

文章目录

第一讲随机过程的基本概念

一、随机过程的定义

Part 1：随机变量

Part 2：随机过程

二、有限维分布和数字特征

Part 1：有限维分布

Part 2：数字特征

Part 3：特殊随机过程

三、二维随机过程

Part 1：二维随机过程

Part 2：二维随机过程的数字特征

【应用随机过程】01. 随机过程的基本概念相关推荐

最新文章

热门文章

【应用随机过程】01. 随机过程的基本概念

文章目录

第一讲 随机过程的基本概念

一、随机过程的定义

Part 1：随机变量

Part 2：随机过程

二、有限维分布和数字特征

Part 1：有限维分布

Part 2：数字特征

Part 3：特殊随机过程

三、二维随机过程

Part 1：二维随机过程

Part 2：二维随机过程的数字特征

【应用随机过程】01. 随机过程的基本概念相关推荐

最新文章

热门文章

第一讲随机过程的基本概念