《程序员的数学》第二册（概率统计）

《程序员的数学》第二册（概率统计）
- 概率的定义
- - 概率的数学定义
  - 三扇门(蒙提霍尔问题)一一飞艇视角
  - 蒙提霍尔问题
  - 正确答案与常见错误
  - 以飞艇视角表述
  - 三元组( 0 ,F, P )一一上帝视角
  - 随机变量
  - 概率分布
  - 适于实际使用的简记方式
- 多个随机变量之间的关系
- - 面积计算的预热
  - 联合概率与边缘概率
  - 条件概率
  - 贝叶斯公式
  - 独立性
- 离散值的概率分布
- - 一些简单的例子
  - 二项分布
  - 期望值
  - 方差与标准差
  - 大数定律
  - 补充内容:条件期望与最小二乘法
- 连续值的概率分布
- 协方差矩阵、多元正态分布与椭圆
- 估计与检验
- 伪随机数
- 概率论的各类应用

《程序员的数学》第二册（概率统计）

概率的定义

概率的数学定义

三扇门(蒙提霍尔问题)一一飞艇视角

蒙提霍尔问题

正确答案与常见错误

以飞艇视角表述

三元组( 0 ,F, P )一一上帝视角

随机变量

1.3节已经构建了舞台。接下来，我们讨论一下如何在这一舞台上表现随机量，并整理之前出现过却还没有详细讲解的内容。
这种随机量称为随机变量。通俗来讲，它是一种会随机改变的不确定量。不过，如图1.6
所示，我们现在处于上帝视角。该视角下，我们可以俯瞰由"所有平行世界"组成的集合。。其中每个世界 ω 中的事件都己确定，只是根据剧本表演而已。

概率分布

适于实际使用的简记方式

通过方程式表述概率对格式的要求较高，如果读者不习惯这种写法，在书写时或许会有些困难。因此，我们经常会使用一些便于书写的简记。本节将介绍一些常用的简记方式。熟悉之后，阅读简记也并非难事，不过对初学者来说，这些简记可能会引起混乱。因此，如果读者在阅读时感到有些困惑，即使老师也使用简记表述概率，也请先改用原本的表示方法以避免误解。

多个随机变量之间的关系

对于现代的概率统计来说，分析多个随机变量之间的相互关系是一个关键。 “包含‘免费’ 这一单词的邮件很可能是广告”"在星期五购买一次性纸尿布的顾客很可能也会买啤酒"这类观点是否很耳熟?为了讨论这类问题，我们必须分析多个随机变量之间的相互关系。

幸运的是，我们已经有了上帝视角这一强有力的工具。请读者充分利用上帝视角，自信地处理 "随机变量之间的相互关系 "。我们的目标是首先要理解联合概率、边缘概率与条件概率这三个概念。它们是讨论随机变量之间关系的基本道具。最近活跃于各领域的贝叶斯公式也是这组概念的-种应用。此外，独立性的定义也基于这组概念。在日常的概率问题中，我们在使用独立性时无需特地声明，不过由于本书的要求更高，因此必须明确定义独立性的含义。在分析随机变量之间的关系时，某一变量是否独立往往是解决问题的关键。
不过，为避免引人一些无关的复杂情况，本章将不涉及连续的随机变量(第4章将对此作具体说明)。

面积计算的预热

如果直接分析随机变量的相互关系，我们很可能找不到头绪。因此，我们将采用与上一章同样的策略，将概率问题转换为面积问题。经过这种转换后，我们需要做的就仅仅是单纯的数学计算。让我们暂时放下概率问题，先考虑这些容易理解的数学计算吧。本节讲解的只是一些简单的算术题，读者只需快速通读即可。从2.2节起，我们将从概率问题的角度重新解释这些问题。

联合概率与边缘概率

条件概率

贝叶斯公式

本节将应用条件概率来解决逆问题。简单来讲，逆问题是指那些需要从结果反推原因的问题1。通常，原因 X无法被直接观察、测量，此时，我们常会通过其结果 Y来反推原因 X。
很多工程问题都可以通过这种方式解释 2。

独立性

本章将继续讨论多个随机变量之间的关系。 2，3节的条件概率可以理解为在得知 X 后，对 Y 的出现概率的预测。 2.4节介绍的贝叶斯公式是相应的逆运算，它将根据 X → Y 的情况 (与 X 的先验概率分布)，由 Y逆推 X 的值。
现在，我们重新开始讨论更为根本的问题。如果问题中存在多个随机变量，我们首先会怀疑这些随机变量之间是否真的存在关联。这一独立性的概念是很多应用问题中的关键。

·如果 X 与 Y无关，由 X椎 Y就没有意义。此时， Y与独立的 X 没有特别的含义。

离散值的概率分布

我们首先来讨论概率论的基本问题，此时随机变量的可取值种类可数(即附录 A.3.2介绍的至多可数的情况)。本章将重点讲解期望值、方差与大数定律。在正式介绍这些内容前，我们需要先大致了解二项分布这种基本分布。
简单来讲，对于取值不定的随机值，将其可能的平均取值称为期望值，值的分散情况称为方差。大数定律表明"大量随机值的平均值趋于期望值"，是处理随机数据的基本定理。二项分布则常见于 "20例中15例得到了改善"之类的问题。

一些简单的例子

二项分布

特殊的概率分布通常会以专门的名称表示。其中，二项分布是一种基本的类型。本书第 6章将反复用到这种分布。

期望值

方差与标准差

3.3节引入了期望值的概念，它是用于描述分布性质的最重要的指标。现在，我们继续引人第二类指标一一方差与标准差。

可以看到，随机变量的数量越多，它们的平均值就越趋于稳定，在分析处理随机变量时，这是一条非常重要的性质。读者在日常生活中或许也会意识到这种性质。本节将通过概率的方式来验证这一性质。

大数定律

人们在研究与实践中发现，尽管每个随机变量取值随机，大量随机变量的平均值却相对恒定。现在让我们通过计算机来模拟这种现象。下面是一个通过 Ruby语言实现的例子1 。

补充内容:条件期望与最小二乘法

连续值的概率分布

协方差矩阵、多元正态分布与椭圆

估计与检验

伪随机数

概率论的各类应用