漫步数理统计十三—

某些期望有特殊的名字与符号表示。首先XX表示离散随机变量，pmf为p(x)p(x)，那么

E(X)=∑xxp(x)

E(X)=\sum_xxp(x)

如果XX的支撑为{a1,a2,a3,…}\{a_1,a_2,a_3,\ldots\}，那么

E(X)=a1p(a1)+a2p(a2)+a3p(a3)+⋯

E(X)=a_1p(a_1)+a_2p(a_2)+a_3p(a_3)+\cdots

这个乘积和是加权平均，权值a1,a2,a3,…a_1,a_2,a_3,\ldots将每个aia_i与p(ai)p(a_i)联系起来，这表明我们可以称E(X)E(X)为XX的算术均值或者更简单点XX的均值。

定义1：\textbf{定义1：}(均值)XX是随机变量，且期望存在，XX的均值μ\mu定义为μ=E(X)\mu=E(X)。

均值是随机变量的一阶矩(关于0)，另一个特殊的期望涉及到二阶矩，令XX是离散随机变量，支撑为{a1,a2,…}\{a_1,a_2,\ldots\}，pmf为p(x)p(x)，那么

E[(X−μ)2]=∑x(x−μ)2p(x)=(a1−μ)2p(a1)+(a2−μ)2p(a2)+⋯

\begin{align*} E[(X-\mu)^2] &=\sum_x(x-\mu)^2p(x)\\ &=(a_1-\mu)^2p(a_1)+(a_2-\mu)^2p(a_2)+\cdots \end{align*}

这个乘积和可以看成a1,a2,…a_1,a_2,\ldots与均值μ\mu差值平方的加权平均，也可以当成XX关于μ\mu的二阶矩，它是非常重要的期望，我们通常称为方差。

定义2：\textbf{定义2：}(方差)XX是随机变量，均值μ\mu为有限值且使得E[(X−μ)2]E[(X-\mu)^2]，那么XX的方差定义为E[(X−μ)2]E[(X-\mu)^2]，通常用σ2\sigma^2或Var(X)Var(X)表示。

仔细观察Var(X)Var(X)会发现

σ2=E[(X−μ)2]=E(X2−2μX+μ2)

\sigma^2=E[(X-\mu)^2]=E(X^2-2\mu X+\mu^2)

并且因为EE是线性运算，

σ2=E(X2)−2μE(X)+μ2=E(X2)−2μ2+μ2=E(X2)−μ2

\begin{align*} \sigma^2 &=E(X^2)-2\mu E(X)+\mu^2\\ &=E(X^2)-2\mu^2+\mu^2\\ &=E(X^2)-\mu^2 \end{align*}

这为计算XX方差提供了很简单的方式。

习惯上称σ\sigma为XX的标准差(或者分布的标准差)，σ\sigma有时也为解释为空间中的点相对均值μ\mu的分散程度，如果空间只包含一个点kk，p(k)>0p(k)>0，那么p(k)=1,μ=k,σ=0p(k)=1,\mu=k,\sigma=0。

注1：\textbf{注1：}令连续随机变量XX的pdf为fX(x)=1/(2a),−a<x<af_X(x)=1/(2a),-a，其余地方为零，使得sigmaX=a/3√sigma_X=a/\sqrt{3}是XX分布的标准差，接下来，令连续随机变量YY的pdf为fY(y)=1/4a,−2a<y<2af_Y(y)=1/4a,-2a，其余地方为零，使得σY=2a/3√\sigma_Y=2a/\sqrt{3}是YY分布的标准差。这里YY的标准差是XX的两倍；这说明对于YY而言，其概率的扩散速度比XX的概率快两倍。

接下来我们定义第三个特殊的期望。

定义3：\textbf{定义3：}(矩生成函数(mgf))令XX表示随机变量使得存在某个h>0h>0，etXe^{tX}的期望在−h<t<h-h区间存在。XX 的矩生成函数定义为M(t)=E(etX)M(t)=E(e^{tX})，−h<t<h-h，我们用简写mgf表示随机变量的矩生成函数。

实际上我们需要的就是mgf在0的开区间内存在，当然这样的区间包含形如(−h,h)(-h,h)的区间，其中h>0h>0。进一步，如果我们令t=0t=0，那么显然M(0)=1M(0)=1。但是注意对于存在的mgf，在0 的开区间内其必定存在。之后会看到，并非所有的分布都有mfg。

如果讨论几个随机变量的话，我们经常将MM写成MXM_X来表示XX额mgf。

令X,YX,Y是有mgf的两个随机变量，如果X,YX,Y有相同的分布，即对于所有的z,FX(z)=FY(z)z,F_X(z)=F_Y(z)，那么在0的邻域内MX(t)=MY(t)M_X(t)=M_Y(t)，但是mgf最重要的一个性质是这个命题反过来也成立。即mgf唯一确定一个分布，我们用一个定理描述这个命题，并用离散情况进行说明。

定理1：\textbf{定理1：}令X,YX,Y是随机变量，他们的矩生成函数分别为MX,MYM_X,M_Y，在0的开区间内存在，那么对于所有的z∈R,FX(z)=FY(z)z\in R,F_X(z)=F_Y(z)，当且仅当存在h>0h>0使得对所有的t∈(−h,h)t\in(-h,h)，等式MX(t)=MY(t)M_X(t)=M_Y(t)成立。

因为这个定理非常重要，为了对其有更好的认识，考虑离散随机变量，例如对于所有的实值tt

M(t)=110et+210e2t+310e3t+410e4t

M(t)=\frac{1}{10}e^t+\frac{2}{10}e^{2t}+\frac{3}{10}e^{3t}+\frac{4}{10}e^4t

是离散随机变量XX的mgf，如果令p(x)p(x)表示XX的pmf，XX的支撑为{a1,a2,a3,…}\{a_1,a_2,a_3,\ldots\}，那么因为

M(t)=∑xetxp(x)

M(t)=\sum_xe^{tx}p(x)

所以我们有

110et+210e2t+310e3t+410e4t=p(a1)ea1t+p(a2)ea2t+⋯

\frac{1}{10}e^t+\frac{2}{10}e^{2t}+\frac{3}{10}e^{3t}+\frac{4}{10}e^4t=p(a_1)e^{a_1t}+p(a_2)e^{a_2t}+\cdots

因为上式对tt的所有实值成立，所以右边应该由四项组成且互相与左边相等；因此我们取a1=1,p(a1)=110;a2=2,p(a2)=210;a3=3,p(a3)=310;a4=4,p(a4)=410a_1=1,p(a_1)=\frac{1}{10};a_2=2,p(a_2)=\frac{2}{10};a_3=3,p(a_3)=\frac{3}{10};a_4=4,p(a_4)=\frac{4}{10}，或者简单点，XX的pmf为

p(x)={x100x=1,2,3,4elsewhere

p(x)= \begin{cases} \frac{x}{10}&x=1,2,3,4\\ 0&elsewhere \end{cases}

令一方面，假设XX是连续随机变量，令

M(t)=11−t,t<1

M(t)=\frac{1}{1-t},t

是XX的mgf。那么

11−t=∫∞−∞etxf(x)dx,t<1

\frac{1}{1-t}=\int_{-\infty}^{\infty}e^{tx}f(x)dx,t

这里f(x)f(x)不太明显，然而我们知道pdf为

f(x)={e−x00<x<∞elsewhere

f(x)= \begin{cases} e^{-x}&0

的mgf为M(t)=(1−t)−1,t<1M(t)=(1-t)^{-1},t，因此随机变量XX存在满足这种pdf的分布与mgf的唯一性是一致的。

因为有mgfM(t)M(t)的分布完全由M(t)M(t)确定，所以我们从M(t)M(t)中直接得到一些分布的性质。例如对−h<t<h-h而言M(t)M(t)的存在性意味着M(t)M(t)在t=0t=0处的各阶导均存在。另外，数学分析中的定理表明微分与积分(离散情况是求和)的顺序可以交换，即如果XX是连续的，那么

M′(t)=dM(t)dt=ddt∫∞∞etxf(x)dx=∫∞∞ddtetxf(x)dx=∫∞∞xetxf(x)dx

M^{'}(t)=\frac{dM(t)}{dt}=\frac{d}{dt}\int_{\infty}^{\infty}e^{tx}f(x)dx=\int_{\infty}^{\infty}\frac{d}{dt}e^{tx}f(x)dx=\int_{\infty}^{\infty}xe^{tx}f(x)dx

同样的，如果XX是离散随机变量，那么

M′(t)=dM(t)dt=∑xxetxp(x)

M^{'}(t)=\frac{dM(t)}{dt}=\sum_xxe^{tx}p(x)

令t=0t=0，我们得到

M′(0)=E(X)=μ

M^{'}(0)=E(X)=\mu

M(t)M(t)的二阶导为

M′′(t)=∫∞−∞x2etxf(x)dx or ∑xx2etxp(x)

M^{''}(t)=\int_{-\infty}^{\infty}x^2e^{tx}f(x)dx\ or\ \sum_xx^2e^{tx}p(x)

得到M′′(0)=E(X2)M^{''}(0)=E(X^2)。因此var(X)var(X)等于

σ2=E(X2)−μ2=M′′(0)−[M′(0)]2

\sigma^2=E(X^2)-\mu^2=M^{''}(0)-[M^{'}(0)]^2

例如如果M(t)=(1−t)−1,t<1M(t)=(1-t)^{-1},t，利用上式

M′(t)=(1−t)−2 M′′(t)=2(1−t)−3

M^{'}(t)=(1-t)^{-2}\ M^{''}(t)=2(1-t)^{-3}

那么

μ=M′(0)=1, σ2=M′′(0)−μ2=2−1=1

\mu=M^{'}(0)=1,\ \sigma^2=M^{''}(0)-\mu^2=2-1=1

当然，我们可以用pdf计算μ,σ2\mu,\sigma^2

μ=∫∞−∞xf(x)dx, σ2=∫∞−∞x2f(x)dx−μ2

\mu=\int_{-\infty}^{\infty}xf(x)dx,\ \sigma^2=\int_{-\infty}^{\infty}x^2f(x)dx-\mu^2

一般而言，如果mm是一个正整数，M(m)(t)M^{(m)}(t)表示M(t)M(t)的mm阶导数，那么

M(m)(0)=E(Xm)

M^{(m)}(0)=E(X^m)

在力学上，

E(Xm)=∫∞∞xmf(x)dx or ∑xxmf(x)

E(X^m)=\int_{\infty}^{\infty}x^mf(x)dx\ or\ \sum_xx^mf(x)

这种积分(或和)称为矩，因为M(t)M(t)生成E(Xm),m=1,2,3,…E(X^m),m=1,2,3,\ldots的值，所以称其为矩生成函数(mgf)。事实上，有时候我们称E(Xm)E(X^m)为分布的mm阶矩或者XX的mm阶矩。

例1：\textbf{例1：}令XX的pdf为

f(x)={12(x+1)0−1<x<1elsewhere

f(x)= \begin{cases} \frac{1}{2}(x+1)&-1

那么XX的均值为

μ=∫∞−∞xf(x)dx=∫1−1xx+12dx=13

\mu=\int_{-\infty}^{\infty}xf(x)dx=\int_{-1}^{1}x\frac{x+1}{2}dx=\frac{1}{3}

而XX的方差为

σ2=∫∞−∞x2f(x)dx−μ2=∫1−1x2x+12dx−(13)2=29

\sigma^2=\int_{-\infty}^{\infty}x^2f(x)dx-\mu^2=\int_{-1} ^{1}x^2\frac{x+1}{2}dx-\left(\frac{1}{3}\right)^2=\frac{2}{9}

例2：\textbf{例2：}如果XX的pdf为

f(x)={1x201<x<∞elsewhere

f(x)= \begin{cases} \frac{1}{x^2}&1

那么XX的均值不存在，因为

{∫∞1|x|1x2dx=limb→∞∫b11xdx=limb→∞(logb−log1)

\begin{cases} \int_1^\infty|x|\frac{1}{x^2}dx &=\lim_{b\to\infty}\int_1^b\frac{1}{x}dx\\ &=\lim_{b\to\infty}(\log b-\log 1) \end{cases}

不存在。

例3：\textbf{例3：}我们知道级数

112+122+132+⋯

\frac{1}{1^2}+\frac{1}{2^2}+\frac{1}{3^2}+\cdots

收敛到π2/6\pi^2/6，那么

p(x)={6π2x20x=1,2,3,…elsewhere

p(x)= \begin{cases} \frac{6}{\pi^2x^2}&x=1,2,3,\ldots\\ 0&elsewhere \end{cases}

是离散随机变量XX的pmf，这个分布的mgf(如果存在的话)为

M(t)=E(etX)=∑xetxp(x)=∑x=1∞6etxπ2x2

\begin{align*} M(t) &=E(e^{tX})=\sum_xe^{tx}p(x)\\ &=\sum_{x=1}^\infty\frac{6e^{tx}}{\pi^2x^2} \end{align*}

通过比值测试可知该级数在t>0t>0时是发散的，所以不存在正数hh使得−h<t<h-h时M(t)M(t)存在。因此这个pmf为p(x)p(x)的分布没有mgf。

例4：\textbf{例4：}令XX的mgf为M(t)=et2/2,−∞<t<∞M(t)=e^{t^2/2},-\infty，我们可以对M(t)M(t)求任意次导得到XX的矩，然而考虑其他方法是很有意义的。函数M(t)M(t)可以表示成下面的麦克劳林级数

et2/2=1+11!(t22)+12!(t22)2+⋯+1k!(t22)k+⋯=1+12!t2+(3)(1)4!t4+⋯+(2k−1)⋯(3)(1)(2k)!t2k+⋯

\begin{align*} e^{t^2/2} &=1+\frac{1}{1!}\left(\frac{t^2}{2}\right)+\frac{1}{2!}\left(\frac{t^2}{2}\right)^2+\cdots+\frac{1}{k!}\left(\frac{t^2}{2}\right)^k+\cdots\\ &=1+\frac{1}{2!}t^2+\frac{(3)(1)}{4!}t^4+\cdots+\frac{(2k-1)\cdots(3)(1)}{(2k)!}t^{2k}+\cdots \end{align*}

一般而言，M(t)M(t)的麦克劳林级数为

M(t)=M(0)+M′(0)1!t+M′′(0)2!t2+⋯+M(m)(0)m!tm+⋯=1+E(X)1!t+E(X2)2!t2+⋯+E(Xm)m!tm+⋯

\begin{align*} M(t) &=M(0)+\frac{M^{'}(0)}{1!}t+\frac{M^{''}(0)}{2!}t^2+\cdots+\frac{M^{(m)}(0)}{m!}t^m+\cdots\\ &=1+\frac{E(X)}{1!}t+\frac{E(X^2)}{2!}t^2+\cdots+\frac{E(X^m)}{m!}t^m+\cdots \end{align*}

因此在M(t)M(t)的麦克劳林级数表示中的系数为E(Xm)E(X^m)，从而我们有

E(X2k)=(2k−1)(2k−3)⋯(3)(1)=(2k)!2kk!,k=1,2,3,…E(X2k−1)=0,k=1,2,3,…

\begin{align*} E(X^{2k})=(2k-1)(2k-3)\cdots(3)(1)=\frac{(2k)!}{2^kk!},k=1,2,3,\ldots\\ E(X^{2k-1})=0,k=1,2,3,\ldots \end{align*}

在之后的文章中我们会用着这个结论。

注2：\textbf{注2：}在高级课程中，我们一般不适用mgf，因为许多分布没有矩生成函数。然而，我们令ii表示虚数单位，tt是任意实数，我们将定义φ(t)=E(eitX)\varphi(t)=E(e^{itX})，对于每个分布这个期望均存在，称其为分布的特征函数。为了说明φ(t)\varphi(t)对所有实数tt存在，考虑其连续情况的绝对值

|φ(t)|=∣∣∣∫∞−∞eitxf(x)dx∣∣∣≤∫∞−∞|eitexf(x)|dx

|\varphi(t)|=\left|\int_{-\infty}^\infty e^{itx}f(x)dx\right|\leq\int_{-\infty}^{\infty}|e^{itex}f(x)|dx

然而，因为f(x)f(x)是非负的，所以|f(x)|=f(x)|f(x)|=f(x)，并且

|eitx|=|costx+isintx|=cos2tx+sin2tx−−−−−−−−−−−−−√=1

|e^{itx}|=|\cos tx+i\sin tx|=\sqrt{\cos^2tx+\sin^2tx}=1

因此

|φ(t)|≤∫∞−∞f(x)dx=1

|\varphi(t)|\leq\int_{-\infty}^{\infty}f(x)dx=1

故φ(t)\varphi(t)对所有tt的实数值均存在。对于离散情况，只需要将积分符号换成求和即可。

每个分布有一个唯一的特征函数；对每个特征函数，存在唯一一个与之对应的概率分布。如果XX的分布存在一个特征函数φ(t)\varphi(t)，例如如果E(X),E(X2)E(X),E(X^2)存在，他们分别由iE(X)=φ′(0),i2E(X2)=φ′′(0)iE(X)=\varphi^{'}(0),i^2E(X^2)=\varphi^{''}(0)给出，熟悉复数函数的可能写成φ(t)=M(it)\varphi(t)=M(it)。

研究拉普拉斯与傅里叶变换的可能注意到这些变换之间与M(t),φ(t)M(t),\varphi(t)有相似之处；这些变换的唯一性使得我们断言矩生成函数与特征函数是唯一的。

漫步数理统计十三——特殊的期望相关推荐

漫步数理统计十七——条件分布与期望
前面我们介绍了一对随机变量的联合概率分布,也说明了如何从联合分布中恢复出单个随机变量(边缘)的分布.现在我们讨论条件分布,即其他随机变量假设为特定值,求一个随机变量的分布,首先讨论离散情况. 令X1, ...
[概统]本科二年级概率论与数理统计第七讲期望、方差与相关性
[概统]本科二年级概率论与数理统计第七讲期望.方差与相关性期望及其性质方差.协方差.相关性系数两两独立.独立与相关性虽然之前就分别介绍过离散型随机变量与连续型随机变量的期望与方差,这一讲 ...
漫步数理统计二十九——函数期望
令X=(X1,-,Xn)′\mathbf{X}=(X_1,\ldots,X_n)^\prime表示某试验的随机变量,我们一般对X\mathbf{X}的函数感兴趣,表示为T=T(X)T=T(\mathb ...
漫步数理统计十二——随机变量的期望
本篇讲解期望运算,之后内容都会涉及到这种运算. 定义1:\textbf{定义1:}(期望)令XX表示一个随机变量,如果XX 是连续的随机变量,pdf为f(x)f(x)且 ∫∞−∞|x|f(x)dx&l ...
漫步数理统计二十三——泊松分布
回忆一下,对于mm的所有值,级数 1+m+m22!+m33!+⋯=∑x=0∞mxx! 1+m+\frac{m^2}{2!}+\frac{m^3}{3!}+\cdots=\sum_{x=0}^\inft ...
漫步数理统计三十三——采样与统计量
本篇博文介绍一些有用的推断工具:置信区间与假设检验. 在典型的统计问题中,我们对随机变量XX感兴趣,但是对其pdff(x)f(x)与pmfp(x)p(x)不知道,对此大致有两个类别: f(x)f(x) ...
漫步数理统计二十——多元随机变量
两个随机变量的概念立即可以扩展到nn个随机变量,下面就是nn个随机变量空间的定义. 定义1:\textbf{定义1:}考虑一个随机试验,其样本空间为C\textbf{C},随机变量XiX_i给每个元素 ...
漫步数理统计十九——独立随机变量
令X,YX,Y表示连续型随机变量,其联合pdf为f(x1,x2)f(x_1,x_2),边缘概率密度分别为f1(x1),f2(x2)f_1(x_1),f_2(x_2),与条件pdff2|1(x2|x1) ...
漫步数理统计十八——相关系数
对于两个随机变量,我们这里用X,YX,Y而不是X1,X2X_1,X_2来表示结论,另外我们不在分开讨论连续与离散的情况,统一用连续符号,但是这些性质对离散情况也满足.令X,YX,Y的联合pdf为f(x ...

漫步数理统计十三——特殊的期望

漫步数理统计十三——特殊的期望相关推荐

最新文章

热门文章