读书笔记：程序员的数学概率统计

特点
内容
- 第一、二章概率定义多随机变量
- 第三、四章离散、连续分布
- 第五章协方差矩阵与多元正态分布
- 第六、七章估计与检验伪随机数
- 第八章各类应用
体会

之前读过程序员的数学、程序员的数学线性代数，这次就把程序员的数学：概率统计也看了。配上普林斯顿微积分读本，算是把高数三件套都过了一遍。虽然说也上过一遍概率论，但又只剩下一些零碎的记忆了。这次看一遍这本概率统计，看看能不能捞回来一点。

特点

跟本科上课的教材相比，它的特点和之前写过的这种数学入门书都非常像，就是干货少讲解多。非常适合初学者用来理解概率统计相关的知识结构。

这边举一个英语的例子：高中的时候英语很差，听的时候总害怕听不懂。后来英语渐渐好了点，也发现了，我听中文也有很多时候听不懂。想通之后，回头再听英文虽然还是听不懂，但踏实了很多。看这种教材，诸如概率论与数理统计，给我的感觉就是很害怕，但是看完《程序员的数学：概率统计》之后对于概率的各类分布有了概念，以及概率的体积泛化是怎么回事之后看起教材来即便是不熟悉的内容，也能自信了许多。

本书也主要围绕几个重点展开：多元随机变量、离散值概率分布、连续值概率分布、协方差矩阵、估计检验、伪随机数以及一些应用。可能是因为每种都涉猎但是没有深入吧，这一本400页轻度编排的书籍感觉讲了比400页A4教材更多的东西。尤其是在协方差矩阵的地方，利用椭圆清晰地解释了PCA的原理，去年在上机器学习时挣扎痛苦还无法理解，原来只要有这个知识背景就能快速了解。

内容

下面是看这本书的时候随手记的一些问题，我自己复习的时候用来回忆知识点用。

第一、二章概率定义多随机变量

什么是三元组(Ω,F,P)(\Omega,F, P)(Ω,F,P)，以及他们代表了什么含义，有什么特性
上帝视角与人类视角的区别和联系
概率分布与随机变量的区别
联合概率与边缘概率是什么，多变量的边缘概率是怎么样的
条件概率与贝叶斯分布是怎么样的
ΣbP(X=a∣Y=b)=1\Sigma_bP(X=a|Y=b)=1ΣbP(X=a∣Y=b)=1 是正确的吗？
事件独立性的表述，五种
独立性与均匀分布、（独立）同分布、互斥之间的关系
如何由 X,Y,ZX,Y,ZX,Y,Z 间独立，推出两两之间独立；
两两独立能够推出整体独立吗，整体独立需要怎样的条件，几个条件？

第三、四章离散、连续分布

二项分布是什么，列出最普遍的二项分布
标准差代表了什么，什么是概率分布的标准化，如何进行标准化
各项独立时，和的方差与方差的和的关系，如何证明
V[X]=E[X2]−E[x]2V[X] = E[X^2]-E[x]^2V[X]=E[X2]−E[x]2 的证明
系统误差与随机误差与期望和方差的关系。
平均值的期望值是如何反映大数定律的
如何用最小二乘法估计使得在P(Y=b∣X=a)P(Y=b|X=a)P(Y=b∣X=a) 下输入 X 输出 Y 的估计值，估计值的误差期望值最小
拉伸变换、线性变换后的概率密度函数如何变化，非线性变换后又如何变化
中心极限定理是什么，与大数定理的关系

第五章协方差矩阵与多元正态分布

协方差与相关系数的关系，协方差的运算
协方差反应变量关系的局限性有哪些
如何理解多元标准正态分布的概率密度函数 fZ(Z)=dexp(−1/2∣∣Z∣∣2)f_Z(Z)=d\space exp(-1/2||Z||^2)fZ(Z)=d exp(−1/2∣∣Z∣∣2)
多元正态分布如何通过对函数操作来进行位移、旋转变换、按轴缩放
多元正态分布空间意义上的投影和截面有何区别，如何对应条件分布与边缘分布
作为单位阵、对角阵与一般矩阵的协方差矩阵与椭圆的关系

第六、七章估计与检验伪随机数

描述统计与期望统计的区别
最小方差估计、最大似然估计和贝叶斯估计的内容和区别
检验理论的 false reject 和 false accept是什么
蒙特卡洛方法是什么，低差异序列和伪随机数序列哪个更好
抛硬币是否能用伪随机数的奇偶来区别，骰子模拟能否用按6取模来区别？
如何通过累计分布函数、概率密度函数来生成连续随机数
有哪些生成正态分布随机数的方法
生成三角和球面上随机数的方法

第八章各类应用

最小二乘法如何从几何学进行解释
主成分分析中的原始数据 xxx 与压缩数据 zzz 和主成分 yyy 的关系
卡尔曼滤波器的特点和形式
马尔可夫链：什么是转移概率矩阵，极限分布与吸收概率是什么
联合熵、条件熵、互信息之间的关系，它们如何与条件概率相关联
信源编码的压缩成功率和信道容量是什么

体会

本书在讲解概率相关的基础知识的时候非常详尽，至少能把你的概率论知识结构性地捞回来一点。同时又应景地介绍了一些应用，虽然不是很深入，但是对你深入看其他书还是有帮助的。不过这本书始终是一本入门介绍教材，希望用它来强化概率论知识是不太可能了，而且本书也没有多少习题。总的来说，本书适合初学者，以及哪些忘得快差不多想要复习一下概率论相关知识的朋友。