多维随机变量及其分布——《概率论及其数理统计》第三章学习笔记

文章目录

多维随机变量及其分布——《概率论及其数理统计》第三章学习笔记
- 前言
- MindMap
- 二维随机变量
- - 定义与分布函数
  - - 分布函数
    - 分布函数的基本性质
  - 离散型
  - - 联合分布律
  - 连续型
  - - 联合概率密度
- 边缘分布
- - 离散型
  - 连续型
  - 公式的理解
- 条件分布
- - 离散型
  - 连续型
- 相互独立的随机变量
- 两个随机变量的函数的分布
- - Z = X + Y
  - - 小定理
  - Z = max{X, Y} 和 Z= min{X，Y}
  - Z = max{X, Y} 和 Z= min{X，Y}
- 后话

前言

有段时间没更新了，这次第三章终于要来了。（终于有时间来梳理概率论笔记了，之前大脑一直被其他进程和线程所占据）

这次带来的是第三章多维随机变量及其分布的知识点内容的总结，内容上可能会追求精简，感觉之前写的有点臃肿了。这一章的内容其实就是在前面两章的基础下做一个升级，这里的升级从标题就可以看出来是一个维度的升级，好比我们在高等数学中的一元微积分到多元微积分的变化。

基本形式和之前还是差不多，只不过会尽量精简。

参考教材是盛骤浙大第四版的《概率论与数理统计》

MindMap

二维随机变量

我们研究一个多维的东西，往往先从较低的维度比如说二维作为主要的研究对象，一个是因为维度低会比较简单，易于理解；另一个则是考试中低维的问题往往更加常见。

定义与分布函数

定义上其实很简单，其实就是之前的一维随机变量变两个，然后用向量来表示，比如
( X , Y ) (X, Y) (X,Y)
当然和一维的情况类似，二维我们也是借助分布函数来研究。

分布函数

定义：设（X， Y）是二维随机变量，对于任意实数x，y，有二元函数
F ( x , y ) = P { ( X ≤ x ) ∩ ( Y ≤ y ) } = P { X ≤ x , Y ≤ y } F(x, y) = P\{(X \leq x) \cap (Y \leq y) \} = P \{X \leq x, Y \leq y \} F(x,y)=P{(X≤x)∩(Y≤y)}=P{X≤x,Y≤y}
该函数就是二位随机变量（X，Y）的分布函数，这种分布函数还有另外一个名字：X 和 Y 的 联合分布函数

分布函数的基本性质

不减，其实就和一维的一样，类似于多元里的求偏导，我们固定一个维度，比如y或x，然后另外一个维度就是一个不减的情况。
范围是 [0, 1]
两个维度上的左右连续。
对于任意的（x1, y1）, (x2, y2), x1 < x2, y1 < y2。则有下列不等式
F ( x 2 , y 2 ) − F ( x 2 , y 1 ) − F ( x 1 , y 2 ) + F ( x 1 , y 1 ) ≥ 0. F(x2, y2) - F(x2, y1) - F(x1, y2) + F(x1, y1) \geq 0. F(x2,y2)−F(x2,y1)−F(x1,y2)+F(x1,y1)≥0.

这个建议结合定义还有二维图像去理解。

离散型

类比一维的离散型，其实还是有限对或者可列无限多对的情况。

然后和一维的一样，也有分布律，在本节中主要是联合分布律。

联合分布律

其实就是求 P{X = i, Y = j}，结合分布函数或许比较好理解：
F ( x , y ) = ∑ x i ≤ x ∑ y i ≤ y p i j F(x, y) = \sum_{x_i \leq x}{\sum _{y_i \leq y} {p_{ij}}} F(x,y)=xi≤x∑yi≤y∑pij

连续型

回想一维的，其实从概率密度到分布函数是一个积分的过程，而二维也是类似，不过用到了重积分。
F ( x , y ) = ∫ − ∞ y ∫ − ∞ x f ( u , v ) d u d v F(x, y) = \int_{-\infty}^{y} \int_{-\infty} ^{x} {f(u, v)dudv} F(x,y)=∫−∞y∫−∞xf(u,v)dudv
和上面的联合分布律类似，概率密度也有联合概率密度。

至于它的基本性质类比一维然后结合课本就很容易理解了。

联合概率密度

基本性质：

非负
规范性
几何性质
点的连续性

边缘分布

前面的
F ( x , y ) F(x, y) F(x,y)
是联合分布函数，当我们只选取其中的一个变量的时候，得到的函数如
F X ( x ) , F Y ( y ) F_X(x), \quad F_Y(y) FX(x),FY(y)
就叫边缘分布函数，由于联合分布的其中一个性质
F ( x , + ∞ ) = F X ( x ) F(x, +\infty) = F_X(x) F(x,+∞)=FX(x)
FY(y) 同理。

我们还是分离散型和连续型两类来讨论边缘分布函数

离散型

离散型分布对应的边缘分布律，我们通过前面的公式可以得到
F X ( x ) = F ( x , + ∞ ) = ∑ x i ≤ x ∑ j = 1 ∞ p i j P { X = x i } = ∑ j = 1 ∞ p i j = p i ⋅ F_X(x)=F(x, +\infty) = \sum_{x_i \leq x}{\sum_{j=1}^\infty{p_{ij}}} \\ P \{X=x_i\} = \sum_{j=1}^\infty{p_{ij}} = p_{i·} FX(x)=F(x,+∞)=xi≤x∑j=1∑∞pijP{X=xi}=j=1∑∞pij=pi⋅
离散型二位随机变量(X, Y) 关于 X 的边缘分布函数和边缘分布律， Y同理。

连续型

结合一维的情况，离散型从分布律到分布函数是用加和，而连续型从概率密度到分布函数用积分，边缘分布也是如此。
F Y ( y ) = F ( + ∞ , y ) = ∫ − ∞ y [ ∫ − ∞ ∞ f ( x , y ) d x ] d y f Y ( x , y ) = ∫ − ∞ ∞ f ( x , y ) d x F_Y(y) = F(+\infty, y) = \int_{-\infty}^y[{\int_{-\infty}^\infty f(x,y)}dx]dy \\ f_Y(x,y) = \int_{-\infty}^\infty{f(x,y)dx} FY(y)=F(+∞,y)=∫−∞y[∫−∞∞f(x,y)dx]dyfY(x,y)=∫−∞∞f(x,y)dx

公式的理解

其实很好理解，当我们需要求边缘的时候，肯定需要忽略其他因素，这时就是只考虑边缘因素将联合概率重分配，或者划分，就可以得到边缘分布的情况。

课本提到的二维正态分布有机会再写

条件分布

我们联系第一章的条件概率
P { A ∣ B } = P { A B } P { B } P\{A|B\} = \frac {P\{AB\}}{P\{B\}} P{A∣B}=P{B}P{AB}
再看下面的条件概率公式
P { X = x i ∣ Y = y i } = P { X = x i , Y = y i } P { Y = y i } P\{X=x_i | Y=y_i \} = \frac {P \{X=x_i, Y=y_i \}}{P\{Y=y_i\}} P{X=xi∣Y=yi}=P{Y=yi}P{X=xi,Y=yi}
这不就是直接替换？分子是联合概率，其实就是积事件，而分母就是边缘概率，即条件。

那么就很好理解了，同时我们也要注意在涉及到条件分布中的条件，其实就是分母不能为0！！！这一点在之后的无论是在做题目还是具体应用中都很重要！

还是从离散和连续两个角度去理解条件分布。

离散型

对于离散，我们只要思考两个东西：分布函数和分布律。

而分布函数其实就是分布律的加和，所以我们只研究分布律即可。
p i j p i ⋅ = P { X = x i ∣ Y = y i } = P { X = x i , Y = y i } P { Y = y i } \frac{p_{ij}}{p_{i·}} = P\{X=x_i | Y=y_i \} = \frac {P \{X=x_i, Y=y_i \}}{P\{Y=y_i\}} pi⋅pij=P{X=xi∣Y=yi}=P{Y=yi}P{X=xi,Y=yi}
这个其实就是条件分布律。

连续型

离散研究分布律，那离散我们就看概率密度。
f X ∣ Y ( x ∣ y ) = f ( x , y ) f Y ( y ) f_{X|Y} (x|y) = \frac{f(x,y)}{f_Y(y)} fX∣Y(x∣y)=fY(y)f(x,y)
这就是 条件概率密度。

相互独立的随机变量

这一部分的知识点其实也很简单的，就是一个二维随机变量的两个分量在几何上属于绝对垂直的情况，即互无影响，互相独立，结合第一章的独立事件来理解，相应我们可以非常流畅地完成这一部分的学习。

对于 独立事件，有
P { A B } = P { A } ∗ P { B } P\{AB\} = P \{A \} *P \{B \} P{AB}=P{A}∗P{B}
而在本节中，则变成了
F ( x , y ) = F X ( x ) F Y ( y ) F(x, y) = F_X(x)F_Y(y) F(x,y)=FX(x)FY(y)
即联合分布为两个边缘分布的乘积，此时 X 和 Y 相互独立。

两个随机变量的函数的分布

注：本节内容只涉及
Z = X + Y Z = m a x { X , Y } Z = m i n { X , Y } Z = X + Y \\ Z = max\{X, Y\} \\ Z = min\{X, Y\} Z=X+YZ=max{X,Y}Z=min{X,Y}
除此之外，以下都是关于连续型，而离散型只需要我们把分布律列出即可。

Z = X + Y

z = x + y, 根据这个条件，我们可以做出替换比如， x = z-y，或者 y = z - x, 然后得到下列关于Z的概率密度
f X + Y ( z ) = ∫ − ∞ ∞ ( z − y , y ) d y f_{X+Y}(z) = \int_{-\infty}^\infty{(z-y, y)dy} fX+Y(z)=∫−∞∞(z−y,y)dy
很明显，通过积分后就可以得到只与z相关的概率密度函数。

如果X 和 Y 独立，那么则有
f X + Y ( z ) = ∫ − ∞ ∞ f X ( z − y ) f Y ( y ) d x f_{X+Y}(z) = \int_{-\infty}^\infty{f_X(z-y)f_Y(y)dx} fX+Y(z)=∫−∞∞fX(z−y)fY(y)dx
这种公式又称为卷积公式。

小定理

看看就好

有限个相互独立的正态随机变量的线性组合仍然服从正态分布。

Z = max{X, Y} 和 Z= min{X，Y}

这个类型其实我认为直接根据具体题目去理解即可。

Z = max{X, Y} 和 Z= min{X，Y}

这个类型其实我认为直接根据具体题目去理解即可。

后话

这次不做习题推荐了，我比较忙没太多时间刷，uu如果感兴趣可以刷刷，题目可以帮助我们进行巩固知识点（如果我有时间的话）。