独立同分布(iid)随机变量的一些趣题

项目github地址：bitcarmanlee easy-algorithm-interview-and-practice
欢迎大家star，留言，一起学习进步

在概率论中，一组独立同分布的随机变量x1,x2,⋯,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn出现的频率很高。独立同分布，independent and identically distributed ,一般缩写为i.i.d。在概率论中，如果随机变量具有相同的概率分布，并且随机变量之间相互独立，那么这组随机变量就满足独立同分布。本文特意为大家整理一下与一组独立同分布的随机变量x1,x2,⋯,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn相关的一些有意思的小问题。

1.Case1

已知随机变量x1,x2,⋯,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn相互独立且同分布，方差为σ2\sigma^2σ2，y=1n∑1nxiy = \frac{1}{n} \sum_1^nx_iy=n1∑1nxi，求Cov(x1,y)Cov(x_1,y)Cov(x1,y)。

解答过程：
设E(x1)=E(y)=kE(x_1) = E(y) = kE(x1)=E(y)=k ，则有
Cov(x1,y)=E(x1y)−E(x1)E(y)=E(x1y)−k2\begin{aligned} Cov(x_1,y) & =E(x_1y) - E(x_1)E(y) \\ & = E(x_1y) - k^2 \end{aligned} Cov(x1,y)=E(x1y)−E(x1)E(y)=E(x1y)−k2

E(x1y)=1nE(x12+∑i=2nx1xi)=1nE(x2)+1n∑i=2nE(x1xi)=σ2+k2n+n−1nk2\begin{aligned} E(x_1y) & = \frac{1}{n}E(x_1^2+\sum_{i=2}^nx_1x_i) \\ & = \frac{1}{n}E(x^2) + \frac{1}{n}\sum_{i=2}^nE(x_1x_i) \\ & = \frac{\sigma^2 + k^2}{n} + \frac{n-1}{n}k^2 \end{aligned} E(x1y)=n1E(x12+i=2∑nx1xi)=n1E(x2)+n1i=2∑nE(x1xi)=nσ2+k2+nn−1k2

将下面的式子带入，很容易得到：
Cov(x1,y)=σ2nCov(x_1,y) = \frac{\sigma^2}{n}Cov(x1,y)=nσ2

2.Case2

已知随机变量x1,x2,⋯,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn相互独立且同分布，求y=x1+x2+⋯+xny=x_1+x_2+\cdots+x_ny=x1+x2+⋯+xn的概率密度函数，均值，方差。
解答过程：
先看n=2n=2n=2的情况，此时y=x1+x2y=x_1+x_2y=x1+x2
p(y)=P{Y≤y}=p{x1+x2≤y}=∫−∞+∞f(x)∫−∞y−xf(z)dzp(y) = P\{Y \le y\} = p\{x_1+x_2 \le y\} = \int _{-\infty}^{+\infty}f(x)\int_{-\infty}^{y-x}f(z)dzp(y)=P{Y≤y}=p{x1+x2≤y}=∫−∞+∞f(x)∫−∞y−xf(z)dz
则概率密度p2(y)=∫−∞+∞f(x)f(y−x)dyp_2(y) = \int_{-\infty}^{+\infty}f(x)f(y-x)dyp2(y)=∫−∞+∞f(x)f(y−x)dy

对于n=3n=3n=3
p3(y)=∫−∞+∞p2(x)f(y−x)dx=∫−∞+∞∫−∞+∞f(z)f(x−z)dzf(y−x)dxp_3(y)=\int_{-\infty}^{+\infty}p_2(x)f(y-x)dx=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(z)f(x-z)dzf(y-x)dxp3(y)=∫−∞+∞p2(x)f(y−x)dx=∫−∞+∞∫−∞+∞f(z)f(x−z)dzf(y−x)dx

以此类推，且统一变量字母，可得：
pn(y)=∫−∞+∞∫−∞+∞⋯∫−∞+∞f(x1)f(x2−x1)f(x3−x2)⋯f(xn−1−xn−2)f(y−xn−1)dx1dx2⋯dxn−1p_n(y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}\cdots\int_{-\infty}^{+\infty}f(x_1)f(x_2-x_1)f(x_3-x_2)\cdots f(x_{n-1}-x_{n-2})f(y-x_{n-1})dx_1dx_2\cdots dx_{n-1}pn(y)=∫−∞+∞∫−∞+∞⋯∫−∞+∞f(x1)f(x2−x1)f(x3−x2)⋯f(xn−1−xn−2)f(y−xn−1)dx1dx2⋯dxn−1

均值很容易看出来是为nExinEx_inExi，下面看看求方差。
D(y)=E(y2)−E2(y)=E(x1+x2+⋯+xn)2−(nEx)2=E(x12+x22+⋯+xn2+2∑i=1n∑j=1,j≠inxixj)−(nEx)2=n(Ex)2+nDxi+n(n−1)(Ex)2−n2(Ex)2=nDxi\begin{aligned} D(y) & =E(y^2) - E^2(y) \\ & = E(x_1+x_2+\cdots+x_n)^2-(nEx)^2 \\ & = E(x_1^2+x_2^2+ \cdots+x_n^2+2\sum_{i=1}^n\sum_{j=1,j\ne i}^n x_ix_j)-(nEx)^2 \\ & = n(Ex)^2+nDx_i + n(n-1)(Ex)^2-n^2(Ex)^2 \\ & = nDx_i \end{aligned} D(y)=E(y2)−E2(y)=E(x1+x2+⋯+xn)2−(nEx)2=E(x12+x22+⋯+xn2+2i=1∑nj=1,j=i∑nxixj)−(nEx)2=n(Ex)2+nDxi+n(n−1)(Ex)2−n2(Ex)2=nDxi

如果稍微扩展一下,y=c1x1+c2x2+⋯+cnxny=c_1x_1+c_2x_2+\cdots+c_nx_ny=c1x1+c2x2+⋯+cnxn，那么期望为E(y)=∑ciE(xi)E(y) = \sum c_iE(x_i)E(y)=∑ciE(xi)，求方差的方法与上面类似:
D(y)=E(y2)−E(y)2=E(c1x1+c2x2+⋯+xn)2−E2(c1x1+c2x2+⋯+xn)=E(c12x12+c22x22+⋯+cn2xn2+2∑i=1n∑j=1,j≠inxixj)−E2(c1x1+c2x2+⋯+xn)=∑i=1nci2(Exi)2+∑i=1nci2Dxi+2∑i=1n∑j=1,j≠inxixj)−E2(c1x1+c2x2+⋯+xn)=∑i=1nci2Dxi\begin{aligned} D(y) & =E(y^2) - E(y)^2 \\ & = E(c_1x_1+c_2x_2+\cdots+x_n)^2-E^2(c_1x_1+c_2x_2+\cdots+x_n) \\ & = E(c_1^2x_1^2+c_2^2x_2^2+ \cdots+c_n^2x_n^2+2\sum_{i=1}^n\sum_{j=1,j\ne i}^n x_ix_j)-E^2(c_1x_1+c_2x_2+\cdots+x_n)\\ & = \sum_{i=1}^n c_i^2 (Ex_i)^2 + \sum_{i=1}^nc_i^2 Dx_i + 2\sum_{i=1}^n\sum_{j=1,j\ne i}^n x_ix_j) -E^2(c_1x_1+c_2x_2+\cdots+x_n)\\ &=\sum_{i=1}^nc_i^2Dx_i \end{aligned} D(y)=E(y2)−E(y)2=E(c1x1+c2x2+⋯+xn)2−E2(c1x1+c2x2+⋯+xn)=E(c12x12+c22x22+⋯+cn2xn2+2i=1∑nj=1,j=i∑nxixj)−E2(c1x1+c2x2+⋯+xn)=i=1∑nci2(Exi)2+i=1∑nci2Dxi+2i=1∑nj=1,j=i∑nxixj)−E2(c1x1+c2x2+⋯+xn)=i=1∑nci2Dxi