08.第三章 数字特征与特征函数(1)
第三章 数字特征与特征函数(1)
1.随机变量的期望求算
随机变量将样本点映射到实数，也就是说随机变量的取值总是一族数，这些数对应着不同的概率，那么它们的聚集情况就有一定的特征来刻画。数学期望就是刻画这些数的聚集中心的数字特征，一般地对随机变量XXX，分布函数为F(x)F(x)F(x)，定义XXX的数学期望为（此处可跳过至具体两种情况）
∫−∞∞xdF(x)=∑i=1Nxi[F(xi)−F(xi−1)].\int_{-\infty}^\infty xdF(x)=\sum_{i=1}^N x_i[F(x_i)-F(x_{i-1})]. ∫−∞∞xdF(x)=i=1∑Nxi[F(xi)−F(xi−1)].
这种积分称为Stieltjes积分，这里−∞=x0<x1<⋯<xN=∞-\infty =x_0<x_1<\cdots<x_N=\infty−∞=x0<x1<⋯<xN=∞，且必须满足绝对可积，也就是∫−∞∞∣x∣dF(x)<∞\int_{-\infty}^\infty |x|dF(x)<\infty∫−∞∞∣x∣dF(x)<∞。
当然，看起来这不是一个好计算的积分，一是除了连续函数的分布函数是绝对可积的外，其他函数的分布函数并不一定有很好的性质；二是这样一个复杂的求和式的求算是十分复杂的，一般我们将合式转化为积分计算，反其道而行之显然会造成很多不便。
绕开一般的随机变量，只取其中特殊的两种——离散型随机变量、连续型随机变量考虑，它们的分布分别可以由概率分布列和概率密度函数来刻画，自然会考虑将它们的期望转化为关于分布列、密度的表达式。
首先是离散型随机变量，回顾它的形状（阶梯型），除了少数几个点外都是常数，因此F(x)−F(x−Δx)=0F(x)-F(x-\Delta x)=0F(x)−F(x−Δx)=0对于一般的xxx是成立的。不成立点在哪里呢？显然在于那几个可取值的点，即x1,⋯,xn,p(xi)>0x_1,\cdots,x_n,p(x_i)>0x1,⋯,xn,p(xi)>0。由于
F(xi)=P(X≤xi)≠P(X<xi)=F(xi−0),F(x_i)=P(X\le x_i)\neq P(X<x_i)=F(x_i-0), F(xi)=P(X≤xi)=P(X<xi)=F(xi−0),
所以在几个点xix_ixi处，有F(xi)−F(xi−0)=piF(x_i)-F(x_i-0)=p_iF(xi)−F(xi−0)=pi，因此我们得到离散型随机变量的数学期望表达式
EX=∑i=1∞xipi,pi>0.EX=\sum_{i=1}^\infty x_i p_i,\quad p_i>0. EX=i=1∑∞xipi,pi>0.
当然，也要满足绝对可积条件∑i=1∞∣xi∣pi<∞\sum\limits_{i=1}^\infty |x_i|p_i<\inftyi=1∑∞∣xi∣pi<∞。
对于连续型随机变量，由于p(xi)=limxi−xi−1→0F(xi)−F(xi−1)xi−xi−1p(x_i)=\lim\limits_{x_i-x_{i-1}\to 0}\frac{F(x_i)-F(x_{i-1})}{x_i-x_{i-1}}p(xi)=xi−xi−1→0limxi−xi−1F(xi)−F(xi−1)，所以可以直接作变换，得到
EX=∑i=1NxiF(xi)−F(xi−1)xi−xi−1(xi−xi−1)=∑i=1Nxip(xi)[xi−xi−1]=∫−∞∞xp(x)dx.\begin{aligned} EX=&\sum_{i=1}^Nx_i\frac{F(x_i)-F(x_{i-1})}{x_i-x_{i-1}}(x_i-x_{i-1})\\ =&\sum_{i=1}^N x_i p(x_i)[x_i-x_{i-1}]\\ =&\int_{-\infty}^\infty xp(x)dx. \end{aligned} EX===i=1∑Nxixi−xi−1F(xi)−F(xi−1)(xi−xi−1)i=1∑Nxip(xi)[xi−xi−1]∫−∞∞xp(x)dx.
而绝对可积的条件，就转化为∫−∞∞∣x∣p(x)dx<∞\int_{-\infty}^\infty |x|p(x)dx<\infty∫−∞∞∣x∣p(x)dx<∞。
综上所述，我们一般使用如下的两个公式来分别求离散型、连续型的随机变量期望：
EX=∑i=1∞xipi,或EX=∫−∞∞xp(x)dx.EX=\sum_{i=1}^\infty x_ip_i,或EX=\int_{-\infty}^\infty xp(x)dx. EX=i=1∑∞xipi,或EX=∫−∞∞xp(x)dx.
注意到，对于离散情形，数学期望就是各个取值关于它们概率的加权平均；而对于连续情形，密度函数也是概率在每点处取值的相对大小，也可以看成一种连续的加权平均。因此，数学期望反映的就是随机变量的平均水平，因此也叫均值。
那么非离散、连续型数学期望，比如给定一个分布函数F(x)F(x)F(x)，它又不是连续的又不是阶梯型的，应当如何求算它的数学期望？用求和式不实际，于是考虑对Stieltjes积分作一些变形。
首先对于Stieltjes积分，它可以跟分布函数联系在一起，由积分和微分的互为逆运算性，有
F(x)=∫−∞xdF(t)=P(X≤x)F(x)=\int_{-\infty}^x dF(t)=P(X\le x) F(x)=∫−∞xdF(t)=P(X≤x)
这里X≤xX\le xX≤x是一个Borel集，那么由Borel集的构造，一切集合都可以类似表示在积分号上，所以有
P(X∈B)=∫x∈BdF(x).P(X\in B)=\int_{x\in B}dF(x). P(X∈B)=∫x∈BdF(x).
然后对数学期望的式子进行改造，由绝对可积性可以把积分拆成正负两部分，得到
EX=∫−∞∞xdF(x)=∫0∞xdF(x)+∫−∞0xdF(x)=∫0∞∫0xdtdF(x)−∫−∞0∫x0dtdF(x)=∫0∞dt∫t∞dF(x)+∫−∞0∫−∞tdF(x)dt=∫0∞P(X>t)dt+∫−∞0P(X<t)dt.\begin{aligned} EX=&\int_{-\infty}^\infty xdF(x)\\ =&\int_{0}^\infty xdF(x)+\int_{-\infty}^0xdF(x)\\ =&\int_0^\infty \int_0^x dtdF(x)-\int_{-\infty}^0 \int_x^0 dtdF(x)\\ =&\int_0^\infty dt\int_t^\infty dF(x)+\int_{-\infty}^0\int_{-\infty}^t dF(x)dt\\ =&\int_0^\infty P(X>t)dt+\int_{-\infty}^0 P(X<t)dt. \end{aligned} EX=====∫−∞∞xdF(x)∫0∞xdF(x)+∫−∞0xdF(x)∫0∞∫0xdtdF(x)−∫−∞0∫x0dtdF(x)∫0∞dt∫t∞dF(x)+∫−∞0∫−∞tdF(x)dt∫0∞P(X>t)dt+∫−∞0P(X<t)dt.
因此，在概率分布列或密度函数求算不是那么方便，而分布函数已知时，可以利用这个公式来求随机变量的期望，这就解决了非离散、连续型随机变量数学期望的求算。
- 这里重要的是积分区域的变换。
- 如果给定的随机变量只是正值的，则可以舍弃后面那一项。
另外，还有重要的随机变量函数，它的数学期望求取却十分简单。现依然假设XXX的分布函数为F(x)F(x)F(x)，有概率分布列pip_ipi或密度函数p(x)p(x)p(x)，对于随机变量函数Y=f(X)Y=f(X)Y=f(X)，它的数学期望就是
EY=∫−∞∞f(x)dF(x)={∑i=1∞f(xi)pi,X离散;∫−∞∞f(x)p(x)dx,X连续.EY=\int_{-\infty}^\infty f(x)dF(x)=\left\{ \begin{array}l \sum\limits_{i=1}^\infty f(x_i)p_i,&X离散;\\ \int_{-\infty}^\infty f(x)p(x)dx,&X连续. \end{array} \right. EY=∫−∞∞f(x)dF(x)=⎩⎨⎧i=1∑∞f(xi)pi,∫−∞∞f(x)p(x)dx,X离散;X连续.
这个结论直接记忆即可，就是用随机变量函数的函数部分，直接套到原积分内XXX的位置。当然，如果p(x)p(x)p(x)不太好积分，而YYY的密度函数在求取后却有着简洁好积的形式，也可以直接用YYY的密度求。
2.随机向量的期望求算
随机向量与随机变量的期望形式上是类似的，设(X,Y)(X,Y)(X,Y)的联合分布函数是F(x,y)F(x,y)F(x,y)，且具有联合密度函数p(x,y)p(x,y)p(x,y)（离散型可以直接类比一维，就不讨论了）。我们可以先求出其边际分布FX(x),FY(y)F_X(x),F_Y(y)FX(x),FY(y)从而分别确定X,YX,YX,Y的期望，但对于X,YX,YX,Y的期望，我们更愿意将其看成一种随机向量函数：
g(X,Y)=X,h(X,Y)=Y.g(X,Y)=X,\quad h(X,Y)=Y. g(X,Y)=X,h(X,Y)=Y.
这样，如果我们能推出一般随机变量函数f(X,Y)f(X,Y)f(X,Y)的期望，就可以一举解决所有相关的问题。好在，随机向量函数的期望具有和随机变量函数期望类似的形式，即
Ef(X,Y)=∫−∞∞∫−∞∞f(x,y)dF(x,y)=∫−∞∞∫−∞∞f(x,y)p(x,y)dxdy.Ef(X,Y)=\int_{-\infty}^\infty \int_{-\infty}^\infty f(x,y)dF(x,y)=\int_{-\infty}^\infty \int_{-\infty}^\infty f(x,y)p(x,y)dxdy. Ef(X,Y)=∫−∞∞∫−∞∞f(x,y)dF(x,y)=∫−∞∞∫−∞∞f(x,y)p(x,y)dxdy.
这样就可以不求边际分布，直接求得每一个分量的期望，以及其他随机向量函数的数学期望。
3.数学期望的性质
数学期望具有一系列实用的性质，其中以线性计算相关性质最为重要。
有界性：若a≤ξ≤ba\le \xi \le ba≤ξ≤b，则EξE\xiEξ存在且a≤Eξ≤ba\le E\xi \le ba≤Eξ≤b。如果ξ≤η\xi\le\etaξ≤η，则有Eξ≤EηE\xi \le E\etaEξ≤Eη。
注意两个随机变量之间的大小关系是不好对比的，一般只能说明ξ<ξ+1\xi<\xi+1ξ<ξ+1这种显然的关系。
线性性质：若Eξ1,⋯,EξnE\xi_1,\cdots,E\xi_nEξ1,⋯,Eξn都存在，则对于任意常数b,c1,⋯,cnb,c_1,\cdots,c_nb,c1,⋯,cn，有
E(∑i=1nciξi+b)=∑i=1nciEξi+b.E(\sum_{i=1}^n c_i\xi_i+b)=\sum_{i=1}^nc_iE\xi_i+b. E(i=1∑nciξi+b)=i=1∑nciEξi+b.
将此性质拆分，可以得到E(X+Y)=EX+EY,E(cX)=cEXE(X+Y)=EX+EY,E(cX)=cEXE(X+Y)=EX+EY,E(cX)=cEX，这就是数学期望的线性计算性质。独立可拆分性：若X,YX,YX,Y独立，则E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)E(XY)=E(X)E(Y)。
有界收敛定理：对一列随机变量ξ1,⋯,ξn,⋯\xi_1,\cdots,\xi_n,\cdotsξ1,⋯,ξn,⋯与目标随机变量ξ\xiξ，如果对于任意样本点ω\omegaω，都有limn→∞ξn(ω)=ξ(ω)\lim\limits_{n\to \infty}\xi_n(\omega)=\xi(\omega)n→∞limξn(ω)=ξ(ω)，且对一切n≥1n\ge 1n≥1，∣ξn∣≤M|\xi_n|\le M∣ξn∣≤M，这里MMM为常数，则有
limn→∞Eξn=Eξ.\lim_{n\to \infty} E\xi_n=E\xi. n→∞limEξn=Eξ.
这个定理给出了随机变量期望收敛的一个条件：随机变量列是有界的。如果把MMM改成一个数学期望存在的非负随机变量η\etaη，则ξn\xi_nξn的数学期望依然收敛于EξE\xiEξ，这就是控制收敛定理。
4.条件期望
条件期望针对条件分布而言，既然随机变量可以具有条件分布，那么把条件分布看成分布函数就能够推出条件期望。如果X=xX=xX=x的情况下YYY的条件分布为FY∣X(y∣x)F_{Y|X}(y|x)FY∣X(y∣x)，则条件期望就是
E(Y∣X=x)=∫∞∞ydFY∣X(y∣x).E(Y|X=x)=\int_{\infty}^\infty ydF_{Y|X}(y|x). E(Y∣X=x)=∫∞∞ydFY∣X(y∣x).
在给定xxx的情况下，可以看到条件期望是一个数值，那么当xxx可以任意给定时，E(Y∣X=x)E(Y|X=x)E(Y∣X=x)就可以看作一个关于xxx的函数，记作m(x)m(x)m(x)。然而，在很多情况下，我们没法给定xxx的具体值——因为XXX本身也是随机变量，具有自己的分布。那么m(X)m(X)m(X)实际上也是一个随机变量（XXX取定值时m(X)m(X)m(X)随之确定），它的期望有什么特点？仅考虑(X,Y)(X,Y)(X,Y)是连续的，具有联合密度p(x,y)p(x,y)p(x,y)，那么
Em(X)=∫−∞∞m(x)pX(x)dx=∫−∞∞(∫−∞∞ypY∣X(y∣x)dy)pX(x)dx=∫−∞∞∫−∞∞y(pY∣X(y∣x)pX(x))dxdy=∫−∞∞∫−∞∞yp(x,y)dxdy=E(Y).\begin{aligned} Em(X)=&\int_{-\infty}^\infty m(x)p_X(x)dx\\ =&\int_{-\infty}^\infty \left(\int_{-\infty}^{\infty} yp_{Y|X}(y|x)dy \right)p_X(x)dx\\ =&\int_{-\infty}^\infty \int_{-\infty}^\infty y(p_{Y|X}(y|x)p_X(x))dxdy\\ =&\int_{-\infty}^\infty \int_{-\infty}^\infty y p(x,y)dxdy\\ =&E(Y). \end{aligned} Em(X)=====∫−∞∞m(x)pX(x)dx∫−∞∞(∫−∞∞ypY∣X(y∣x)dy)pX(x)dx∫−∞∞∫−∞∞y(pY∣X(y∣x)pX(x))dxdy∫−∞∞∫−∞∞yp(x,y)dxdyE(Y).
也就是E[E(Y∣X)]=E(Y)E[E(Y|X)]=E(Y)E[E(Y∣X)]=E(Y)，这也被称为全期望公式。可以看到，全期望公式里XXX和YYY没有什么约束，所以实际应用时XXX可以根据情况选择。这个公式在求随机过程期望时很常用。
要注意，在取条件期望时，右边的XXX是“暂时地”被当成常数处理的，所以E(f(X)Y∣X)=f(X)E(Y∣X)E(f(X)Y|X)=f(X)E(Y|X)E(f(X)Y∣X)=f(X)E(Y∣X)是成立的。
08.第三章 数字特征与特征函数(1)相关推荐
- 10.第三章 数字特征与特征函数(3)
第三章 数字特征与特征函数(3) 1.矩 前面讨论的数学期望与方差,都反映了关于样本的一些性质,要么是样本本身的平均水平EξE\xiEξ,要么是样本关于平均水平偏差的平均水平E(ξ−Eξ)2E(\xi ...
- 2020年余丙森概率统计强化笔记-第三章 二维随机变量及其分布- 第四章 数字特征
写在前面:余丙森老师的风格,笔者个人还是比较欣赏的,跟下来,是有收获的. 文章目录 第三章 二维随机变量及其分布 第四章 数字特征 第三章 二维随机变量及其分布 第四章 数字特征
- C++ API 设计 08 第三章 模式
第三章 模式 前一章所讨论的品质是用来区分设计良好和糟糕的API.在接下来的几个章节将重点关注构建高品质的API的技术和原则.这个特殊的章节将涵盖一些有用的设计模式和C++ API设计的相关习惯用法. ...
- 《数字图像处理（第三版）》 第三章 数字图像处理 笔记3 （直方图处理 - 直方图均衡）
第 3 章 灰度变换与空间滤波 3.3 直方图处理 直方图是多种空间域处理技术的基础. 灰度级范围为 [0, L-1] 的数字图像的直方图是离散函数 h(rk)=nkh(r_k) = n_k ...
- 第三章数字逻辑电路基础
一数字逻辑电路基础 1布尔代数 2一位逻辑门电路 3 n位逻辑门电路 4 组合逻辑部件 5多路选择器 6.一位加法器(全加器) 7. n位加法器 8 n位带标志加法器 9 n位整数加/减运算器 10 ...
- 数字通信第三章——数字调制方法概念
一.为什么要调制 传输的二进制流必须经过变换,适应在给定的信道上传输. 信号传输时,信道的自然属性会带来各种损伤(噪声,衰减,失真,干扰--) \quad变换后的信号满足:1.能表示二进制数据,能方便 ...
- 张宇1000题概率论与数理统计 第六章 数字特征
目录 AAA组 24.二维正态分布一般表示为N(μ1,μ2;σ12,σ22;ρ)N(\mu_1,\mu_2;\sigma^2_1,\sigma^2_2;\rho)N(μ1,μ2;σ12,σ22 ...
- 统计学基础——负二项分布的数字特征
统计学基础--负二项分布的数字特征 一.引言 二.负二项分布定义的引出与理解 2.1 实际意义 2.2 初始定义 2.3 重新定义"负"二项分布 2.3 推导前的知识准备 三.数字 ...
- 第三章 随机变量的数字特征
数学期望 数学期望用来反映平均情况. 定义 设离散型随机变量X的分布律为P(X=xk)=pk,k=1,2,3...P(X=x_k)=p_k,\;k=1,2,3...,若级数∑+∞k=1xkpk\sum ...
- 概率统计：第四章 随机变量的数字特征
第四章 随机变量的数字特征 内容提要 一.数学期望 1.设离散型随机变量的分布律为 , 若级数收敛,称级数的和为随机变量的数学期望,记为,即 2.设连续型随机变量的密度函数为, 若积分收敛,称积分的 ...
最新文章
- centos6.5下iptables基础知识详解与配置
- HDU 2009 求数列的和
- Linux 新api eventfd（转）
- 正则表达式入门之重复匹配
- python常用代码大全-python基础，python基础代码大全
- spring扩展点六：监听spring容器刷新事件
- 前端HTML学习之案例--学生信息表
- 组装电脑基础知识之内存条
- GATK使用方法详解（原始数据的处理）
- 安全检查未通过_QQ群文件未通过安全检查，禁止下载该文件解决办法(QQ收藏)
- 【企业架构】确定策略和动机
- [ZUCC 计网]BB-quiz-数据链路层测试-2020
- 上传GPS数据到ONENET云平台
- TCM和CACHE简述
- 二分过滤文件代码分享
- 2017腾讯LIVE开发者大会精彩回顾！
- shell 脚本-01 变量、字符串、数组
- PULT：Progressive Unsupervised Learning for Visual Object Tracking（用于视觉目标跟踪的渐进式无监督学习）
- 街景窗户检测数据集（Street Scene Window Detection (SSWD)）-VOC和Yolo版本
- 对ArcGIS主成分分析的解释