封面图：今日份シェバォウ

习题答案，这次的计算题很多，不过并不特别简单~

1.考虑针的中点与最近的一条边缘线的距离

历史上这是一个极负盛名的问题。关于

2.这是一个函数方程问题：

3.利用Example 7的结果得到：

4.只须证明

注意

5.利用二项分布的正态近似以及上一题刚刚证明的结果。

6.给定

从而

7.首先证明

可以延续证明6的伎俩，也可以对7积分。然后知道

内层积分作换元

8. 我们有

即

9.使用公式

(这可以引出「连续的全概率公式」)

10.直接算就对了。

---

第七章 期望的性质

前面介绍的的许多有关随机变量的知识都偏向于应用和计算，不过，接下来的两个章节就会有比较硬核的理论出现。这一章主要是继续研究期望及其衍生概念的更多理论(内容有点杂)，而下一章就会进入概率论的核心定理。

• 期望的一般定义

前面讨论了离散型与连续型随机变量的期望，但是随机变量并不是只有这两种类型。比如，令

Stieltjes积分的概念。

对两个实值有界函数

Stieltjes积分，记作

关于Stieltjes积分的更多内容可以看陶哲轩实分析，或者只是要粗略了解的话看这里。这里只是提名一个性质：若

排除万难，我们终于可以给出期望的定义：设随机变量

这个式子在

通过

方差可以定义为

另外我们有下面的简单命题。

若随机变量

由条件知

由于我们很少讨论非离散型也非连续型的随机变量，所以很多时候我们依然在原来的两种框架下论述。

• 随机变量多元函数的期望及其应用

1.设随机变量

请大家自行写出离散的版本。

证明与之前类似，我们有

上式第一项可以这样处理：

同理计算第二项，然后得到结果。

容易得到下面的推论，这会在后面讨论协方差时起到作用。

2.如果

有了这个定理，就可以证明一个之前没有填上的坑：随机变量和的期望。

3.对于连续型随机变量

由1：

得证。

下面我们解决一些问题。

Example 1 平面上的随机游动：一个动点最初位于原点，且每次移动一个单位长度，移动方向与

设

由于

叙述下面的例子之前要先建立一个引理。

引理：若随机变量

满足对于任意

有

，则记

。若

，则

。类似有关于

的结论。

如果

Example 2 用期望方法证明有限的Bool不等式。

考虑事件

Example 3 快速排序算法：有互不相同的

设这些数是

若

随机选一个比较数。设事件

下面这个问题是概率论用于组合学问题的例子。

Example 4 一个有向完全图叫做竞赛图。在具有

Hamilton路径，如果

设竞赛图

模型中每一个点等可能的选择其中一条边是出还是入。

最后我们提一下无穷多个随机变量的和。随机变量级数

(1)

(2)级数

• 试验序列中随机变量的矩

之前我们讨论过一些随机变量的

首先我们不直接考虑

从而

Example 5 求超几何随机变量

设

而

• 协方差与相关系数

两个随机变量

协方差定义为

4.

证明很简单，直接展开。由此结合3可以得到推论：若

5.协方差的线性性：

这是因为

6.

如果

Example 6 有

设

下面求方差。由于

注意，括号里的部分正是数据

下面讨论相关系数。两个随机变量

相关系数定义为

有时候也记作

7.

这是因为：由7得

这个问题的证明也可以借助Cauchy-Schwarz不等式完成：

在第八章中将证明

不相关。除此之外可以定义正相关和负相关。

Example 7 证明

事实上：

所以命题成立。

• 条件期望

之前定义了条件分布，自然我们可以讨论条件期望与条件方差的概念。

如果

条件期望为

如果

如果是一般情况下，这个式子是

定义

条件期望定义出来的目的许多时候是为了更好地计算期望。下面的定理足以达到这个目的：

8.(全期望公式)

如果是离散型随机变量，这个式子等价于

由条件期望的定义：

得证。

其实，这个定理就和全概率公式差不多。

还有推广定理：

有时候我们会考虑某个事件发生条件下的期望。设事件

9.

这是因为

Example 8 证明：在二元正态分布中，

之前我们证明了

下面计算

故代入得

Example 9 求几何分布的方差。

这里用条件期望来做。设

解得

利用条件期望还可以计算概率。令

若

第一个就是全概率公式。下面看一个例子。

Example 10 设

其中

这个变量有一个比较直观的解释。令

条件方差定义为

10.

证明只需直接拆开。

条件方差也可以用来计算方差，这就是下面的

11.(条件方差公式)

原因是，由10和全期望公式有

两式相加得到

Example 11 设

设

由条件方差公式：

条件期望还有一个用处就是建立最佳预测。实践中经常遇到这样的问题：需要通过已知的随机变量

对任何两个随机变量

事实上，我们可以证明

引理：

。

这是因为

其中最后一个等号利用了全期望公式，而倒数第二个是因为对任意

引理意味着

12.对任意

这是因为

最后一项期望是零，刚刚证明过了。(注意

当

• 矩母函数

矩母函数是研究随机变量的强大工具。它的定义是：

当

对于需要处理的绝大部分随机变量，微分或积分运算与期望运算都可以交换。一般情况需要Stieltjes积分的相关性质，就不证明了。下面将应用它们。

对矩母函数求

13.

这个结果也可以这样证明：

因为可以用它来计算

在实际运用中需要各种分布的矩母函数。推导都不困难，所以这里只是列出结果。

参数为

的二项分布的矩母函数：

。 参数为

的Poisson分布的矩母函数：

。 参数为

的负二项分布的矩母函数：

。

上的均匀分布的矩母函数：

。 参数为

的指数分布的矩母函数：

。 参数为

的Gamma分布的矩母函数：

。 参数为

的正态分布的矩母函数：

。

矩母函数有一个强大的性质，那就是：独立随机变量和的矩母函数是各自矩母函数的乘积。

14.

证明不难， 由独立随机变量的性质(即2)：

我们再给出一个关于矩母函数的性质。

15.若

这个结果的证明需要所谓反转公式，本质是一个Laplace逆变换。具体证明就不在此给出。由这个性质可以得到，如果矩母函数符合某种分布的形式，则这个随机变量必定服从此种分布。

Example 12 用矩母函数证明：设

这个问题使用矩母函数瞬间变得简单起来。我们有：

Example 13 用矩母函数解决Example 10。

在

由于这个矩母函数符合离散均匀分布，故

下面我们转向联合矩母函数。随机变量

首先有

16.若联合矩母函数

这个定理证明比较困难，所以不证了。

17.随机变量

利用上一个性质提供的矩母函数与分布函数的对应关系可以得到证明。

于是，判断一组随机变量是否独立可以依靠计算矩母函数来完成。

Example 14 设

而

故

矩母函数的一个巨大的应用将会在下一章提到：证明中心极限定理。(要 来 了)

---

习题

1.用期望方法证明容斥原理。

2.证明对任何随机变量

3.对任何两个随机变量

4.设

5.假设有

6.证明Cauchy-Schwarz不等式。

7.设对任意时间

8.假设在A处发送一个强度为

9.设

10.设

11.对于给定的随机变量

条件协方差定义为：

12*.设