6.Discrete Random Variables II 离散随机变量（二）

Standard deviation 标准差

若想要以相同单位衡量数据的偏移量，可以将方差开根，得到随机变量X分布的标准差 standard deviation

方差的单位是随机变量单位的平方（recall

Conditional PMF & Expectation 条件概率质量函数&期望

我们知道条件概率无非就是在一个条件出现后的“新的宇宙”中审视事件的概率，所以其与普通的概率没有什么区别。因此，我们也可以在一个事件发生的条件下定义一个随机变量的概率质量函数，我们称这样的概率质量函数为 条件概率质量函数 Conditional PMF

在事件A的条件下，随机变量X的概率质量函数为

准确地写为如下形式

表示的是在事件A发生的条件下，当随机变量等于一个值时的概率

当然，根据条件概率的性质

同样的，我们也可以定义条件期望 Conditional Expectation

在事件A的条件下，随机变量X的期望为

因为“条件”无非是在一个“新宇宙”中审视概率，所以对于条件质量函数，条件期望（或者是条件方差），该有的性质都成立，只不过都要加上“条件”。比如，随机变量函数的条件期望公式，

线性函数的条件期望等于条件期望的线性函数，

等等。

Geometry PMF 几何概率质量函数

上节课我们已经提到几何PMF是如下的PMF

其期望为

这个式子，通过代数的方法不难计算，是几何级数的导数

然而，我们也可以用概率论的方法去计算X的期望

现在看这么一个例子：

有两个人A，B抛硬币，记X为A抛硬币抛到正面所需的最小次数，Y为B抛硬币抛到正面所需的最小次数。单次投掷硬币抛到正面的概率为p。其中B比较急，先于A抛了两次硬币，可惜都是背面，之后B和A都按照同样的规则抛硬币。

X的PMF自然是

而对于B来说，有的人可能会认为，他抛到次数多了，自然抛到正面的概率大一点。但是事实上，因为每次抛硬币都是互相独立的，所以B在前两次硬币都是反面的情况下和A抛硬币的条件是一模一样的。

Y的PMF是一个条件PMF

而且我们知道在前两次之后，A和B抛硬币的条件是一模一样的，即Y只要减去前两次，概率的情况就和X一模一样，即

这里Y和X是等价的，并且我们知道在前n次都为反面的条件下，n此过后，A和B的情况就是一样的

所以,对于几何PMF来说

我们称几何PMF/几何分布的这种性质为无记忆性 memorylessness ，表示其未来发生的事和过去没有关系。

从PMF的图像上我们也可以看到这一点:

把前两列去掉并做偏移之后，对下图需要进行标准化（缩放）使得所有k的概率之和为1。而缩放完的的结果和

而直接的代数证明也十分容易：

由此我们可知，几何分布的期望也是没有记忆的

因为在浪费了n个投硬币机会后，之后投硬币的情况和之前并无任何区别

运用几何PMF的无记忆性，我们可以计算出其期望。不过在此之前，先引入一个定理

Total Expectation theorem 全期望定理/公式

由全概率公式，我们知道一个事件的概率可以由其在各个互斥事件中的占比的加权和表示，即

而对于PMF来说，也是如此

因为当x取一个特定的值时，

于是

我们称该公式

为全期望定理/公式 Total Expectation theorem

其中

直观上说明了一个随机变量的期望是其在每种情况下期望的加权和

运用全期望定理和几何级数的无记忆性，我们可以通过概率论的方法计算出几何分布的期望：

假设事件

那么运用全概率公式我们知道

而对于

讲其代入

我们可以解出

这确实符合常理，投出正面的概率越小，我们一般就需要更多的次数来投出正面，反之。

上述的方法运用了分治的思想。

Joint PMF 联合PMF

取一个学校的学生为样本，我如果想知道身高为a，体重为b的学生出现的概率，很自然地就想到建立拥有两个变量的概率质量函数

联合PMF joint PMF是拥有多个变量的PMF

一个二元的联合PMF可以这么表示

严谨的写就是

下图是一个例子

我们可以知道对应x，y的概率，无非就是一个离散的二元函数

显然，所有的概率之和为1

如果我只关心X的PMF，我只需要把对应x的所有Y的概率加起来即可

我们称这样的PMF为边际PMF marginal PMF

我们也可以由联合PMF得出y等于某个值时X的条件PMF

在y等于某个特定的值时，x为不同值的概率之间的比例是不变的，我们只需要将x的概率标准化即可

即计算每个X的值在事件Y = y中的占比

把这样所有的条件概率相加，和依然是1，因为条件概率无非就是在一个新宇宙中重新审视概率

参考资料：MIT6.041公开课程及讲义