古典概型

古典概型中某个事件发生的概率等于这个事件包含的基本事件数量除以基本事件总数。基本事件发生的概率被假设为是相等的。常见的符合古典概型的情形有掷硬币（toss a coin），丢色子（roll a die），抽扑克等。假设样本空间为Ω\OmegaΩ，
Ω={w1,w2,...,wN}\Omega = \{w_1,w_2,...,w_N\} Ω={w1,w2,...,wN}
事件AAA包含的基本事件数量为N(A)N(A)N(A)，则事件AAA发生的概率是
P(A)=N(A)NP(A) = \frac{N(A)}{N} P(A)=NN(A)
一般样本空间有限时的概率问题都可以套古典概型，因此怎么去计算一个事件包含的基本事件数量是计算事件概率的关键，下面简单回顾一下简单的排列组合。

排列数与组合数

排列数(n)k(n)_k(n)k（n falling k）的含义是从nnn个元素中抽出kkk个构成的所有排列的总数。
(n)k=n(n−1)(n−2)...(n−k+1)=n!(n−k)!(n)_k = n(n-1)(n-2)...(n-k+1) = \frac{n!}{(n-k)!} (n)k=n(n−1)(n−2)...(n−k+1)=(n−k)!n!
其中kkk个元素的所有可能的排列数为
(k)k=k(k−1)...1=k!(k)_k = k(k-1)...1 = k! (k)k=k(k−1)...1=k!
从nnn个元素中抽出kkk个元素的所有可能的抽法数量是组合数CnkC_n^kCnk
Cnk=(n)kk!=n!(n−k)!k!C_n^k = \frac{(n)_k}{k!} = \frac{n!}{(n-k)!k!} Cnk=k!(n)k=(n−k)!k!n!
关于组合数有两个有用的性质
Cnn−1=Cn1=nCnk=Cnn−kC_n^{n-1} = C_n^1 = n \\ C_n^{k} = C_n^{n-k} Cnn−1=Cn1=nCnk=Cnn−k
关于组合数还有两个常用的递推关系
kCnk=nCn−1k−1Cnk=Cn−1k−1+Cn−1k(杨辉三角，PascalTriangle)kC_n^k = nC_{n-1}^{k-1} \\ C_n^k = C_{n-1}^{k-1} + C_{n-1}^{k} (杨辉三角，Pascal\ Triangle) kCnk=nCn−1k−1Cnk=Cn−1k−1+Cn−1k(杨辉三角，Pascal Triangle)
关于阶乘的Stirling公式，在推导离散型随机变量序列的极限分布时会有很大帮助
n!≈2πnn+1/2e−nn! \approx \sqrt{2\pi} n^{n+1/2}e^{-n} n!≈2πnn+1/2e−n

二项式定理，负二项式定理与多项式定理

二项式定理是
(x+y)n=∑k=0nCnkxn−kyk=∑k=0∞Cnkxn−kyk(x+y)^n = \sum_{k=0}^{n} C_n^k x^{n-k}y^k = \sum_{k=0}^{\infty} C_n^k x^{n-k}y^k (x+y)n=k=0∑nCnkxn−kyk=k=0∑∞Cnkxn−kyk
比较基础没什么评论。负二项式定理给出了当上式指数为负时的展开式
(x+y)−r=1xr(1+yx)−r=1xr∑k=0∞C−rk(yx)k=∑k=0∞C−rkx−r−kyk(x+y)^{-r} = \frac{1}{x^r}(1+\frac{y}{x})^{-r} = \frac{1}{x^r} \sum_{k=0}^{\infty} C_{-r}^k (\frac{y}{x})^k = \sum_{k=0}^{\infty} C_{-r}^k x^{-r-k}y^k (x+y)−r=xr1(1+xy)−r=xr1k=0∑∞C−rk(xy)k=k=0∑∞C−rkx−r−kyk
其中
C−rk=(−1)kCr+k−1kC_{-r}^{k} = (-1)^kC_{r+k-1}^{k} C−rk=(−1)kCr+k−1k
这个系数对应的背景是可以重复抽取的组合问题。多项式定理处理的问题是展开
(x1+x2+...+xr)n(x_1+x_2+...+x_r)^n (x1+x2+...+xr)n
假设展开式某一项为x1n1x2n2...xrnrx_1^{n_1}x_2^{n_2}...x_r^{n_r}x1n1x2n2...xrnr，则
n1+n2+...+nr=nn_1+n_2+...+n_r = n n1+n2+...+nr=n
该项在所有展开式中出现的次数为
Cnn1Cnn−n1Cnn−n1−n2...Cnnr=n!n1!n2!...nr!C_n^{n_1} C_n^{n-n_1} C_n^{n-n_1-n_2} ... C_n^{n_r} = \frac{n!}{n_1!n_2!...n_r!} Cnn1Cnn−n1Cnn−n1−n2...Cnnr=n1!n2!...nr!n!
这个系数对应的组合背景是将n个物体分成r组的所有可能的分法数量。所以多项式的展开为
(x1+x2+...+xr)n=∑n1+n2+...+nr=nn!n1!n2!...nr!x1n1x2n2...xrnr(x_1+x_2+...+x_r)^n = \sum_{n_1+n_2 + ... +n_r=n} \frac{n!}{n_1!n_2!...n_r!} x_1^{n_1}x_2^{n_2}...x_r^{n_r} (x1+x2+...+xr)n=n1+n2+...+nr=n∑n1!n2!...nr!n!x1n1x2n2...xrnr
这三个定理将作为某些分布的基本结构。之后我们会看到分布的分布列或者分布函数需要满足归一性，归一性给出的恒等式就是一个分布的基本结构，根据基本结构可以比较轻松地计算期望方差等数字特征。

第二类Stirling数

第二类Stirling数（Stirling number of the second kind）对应的组合问题是如何将n个物品放进r个非空的盒子里，通常用S2(n,r)S_2(n,r)S2(n,r)表示。有两个值是比较明显的
S2(n,1)=S2(n,n)=1S2(n,0)=S2(0,n)=0S_2(n,1) = S_2(n,n)=1 \\ S_2(n,0) = S_2(0,n) = 0 S2(n,1)=S2(n,n)=1S2(n,0)=S2(0,n)=0
将nnn个物品放进n−1n-1n−1个非空的盒子里，相当于从nnn个物品中抽出两个放入同一个盒子，再将剩下的每个球单独放入一个盒子里，因此
S2(n,n−1)=Cn2S_2(n,n-1) = C_n^2 S2(n,n−1)=Cn2
第二类Stirling数有类似杨辉三角的递推性质
S2(n+1,k)=kS2(n,k)+S2(n,k−1)S_2(n+1,k) = kS_2(n,k) + S_2(n,k-1) S2(n+1,k)=kS2(n,k)+S2(n,k−1)
口述证明即可。假设现在已经放好了nnn个球，那么这nnn个球要么已经占据了kkk个盒子，要么只占据了k−1k-1k−1个盒子。如果占据了kkk个盒子，那么第n+1n+1n+1个球就可以有Ck1=kC_k^1=kCk1=k中放法，即随便放在哪个盒子里，这种情况对应的分法数量为kS2(n,k)kS_2(n,k)kS2(n,k)；如果占据了k−1k-1k−1个盒子，那么第n+1n+1n+1个球必须放进第kkk个盒子，这时分类方法为S2(n,k−1)S_2(n,k-1)S2(n,k−1)。根据上述一些特殊值和递推关系可以计算出任何一个第二类Stirling数。
可重排列数与排列数之间可以用第二类Stirling数联系。
xn=∑k=1nS2(n,k)(x)kx^n = \sum_{k=1}^n S_2(n,k) (x)_k xn=k=1∑nS2(n,k)(x)k
这个证明也可以口述。考虑映射g:{1,2,...,n}→{1,2,...,x}g:\{1,2,...,n\} \to \{1,2,...,x\}g:{1,2,...,n}→{1,2,...,x}的数量，有两种计数方法。比较直接的方法是定义域内每一个输入都可以对应1到xxx中的任何一个，因此这类映射的数量为nnn个xxx相乘，即xnx^nxn。另一种计数方法不太直接，考虑到映射的性质，这个映射的值域最多有nnn个元素。对值域有kkk个元素的那些映射，注定只能取到1到xxx里面的kkk个值，这kkk个值每一个都要有与之对应的定义域的子集，因此定义域也会被分割成kkk个非空无交的集合。因此值域有kkk个元素的映射数量为S2(n,k)(x)kS_2(n,k)(x)_kS2(n,k)(x)k，k=1,2,...,nk=1,2,...,nk=1,2,...,n。

独立性与条件概率

两个事件A,BA,BA,B的独立性被定义为
P(A∩B)=P(A)P(B)P(A\cap B) = P(A)P(B) P(A∩B)=P(A)P(B)
条件概率的含义是在事件BBB发生的前提下，事件AAA发生的概率
P(A∣B)=N(A∩B)N(B)=P(A∩B)P(B)P(A|B) = \frac{N(A\cap B)}{N(B)} = \frac{P(A\cap B)}{P(B)} P(A∣B)=N(B)N(A∩B)=P(B)P(A∩B)

全概率公式

假设样本空间Ω\OmegaΩ存在一个分割{Di}i=1m\{D_i\}_{i=1}^{m}{Di}i=1m满足
Ω=⨆i=1mDi\Omega = \bigsqcup_{i=1}^{m} D_i Ω=i=1⨆mDi
则事件AAA也可以被这个分割划分为其子集的无交并
A=⨆i=1mA∩DiA = \bigsqcup_{i=1}^{m} A \cap D_i A=i=1⨆mA∩Di
从而这些事件中含有的基本事件数量也有如下关系
N(A)=∑i=1mN(A∩Di)N(A) = \sum_{i=1}^{m} N(A \cap D_i) N(A)=i=1∑mN(A∩Di)
在古典概型下可以导出全概率公式
P(A)=∑i=1mP(A∩Di)P(A) = \sum_{i=1}^{m} P(A \cap D_i) P(A)=i=1∑mP(A∩Di)

贝叶斯公式

贝叶斯公式（Bayesian Formula）回答的问题是在观察到事件AAA发生的情况下，事件DkD_kDk发生的概率。
P(Dk∣A)=P(A∩Dk)P(A)P(D_k |A) = \frac{P(A \cap D_k)}{P(A)} P(Dk∣A)=P(A)P(A∩Dk)
根据全概率公式，
P(Dk∣A)=P(A∩Dk)∑i=1mP(A∩Di)P(D_k |A) = \frac{P(A \cap D_k)}{\sum_{i=1}^{m} P(A \cap D_i)} P(Dk∣A)=∑i=1mP(A∩Di)P(A∩Dk)
根据条件概率的定义
P(A∣Dk)=P(A∩Dk)P(Dk)P(A|D_k) = \frac{P(A \cap D_k)}{P(D_k)} P(A∣Dk)=P(Dk)P(A∩Dk)
因此
P(Dk∣A)=P(A∣Dk)P(Dk)∑i=1mP(A∣Di)P(Di)P(D_k |A) = \frac{P(A | D_k)P(D_k)}{\sum_{i=1}^{m} P(A | D_i)P(D_i)} P(Dk∣A)=∑i=1mP(A∣Di)P(Di)P(A∣Dk)P(Dk)
其中P(Dk)P(D_k)P(Dk)是事件DkD_kDk的先验概率（prior），P(Dk∣A)P(D_k |A)P(Dk∣A)是其后验概率（posterior）。

Bernoulli试验与二项分布

Bernoulli试验（Bernoulli trials）指的是试验结果只有成功或者失败的试验，假设随机变量Xi,i=1,2,...,nX_i,i=1,2,...,nXi,i=1,2,...,n代表第iii次独立重复Bernoulli试验的结果，Xi=1X_i=1Xi=1代表试验成功，Xi=0X_i=0Xi=0代表试验失败，p=P(Xi=1)p=P(X_i=1)p=P(Xi=1)是成功概率。有两个比较常用的结果
EXi=pVar(Xi)=p(1−p)2+(1−p)(0−p)2=p(1−p)EX_i = p \\ Var(X_i) = p(1-p)^2 + (1-p)(0-p)^2 = p(1-p) EXi=pVar(Xi)=p(1−p)2+(1−p)(0−p)2=p(1−p)
假设随机变量Y=X1+X2+...+XnY=X_1+X_2+...+X_nY=X1+X2+...+Xn，则YYY代表nnn次独立重复Bernoulli试验的成功次数，其分布为二项分布，记为B(n,p)B(n,p)B(n,p)。
P(Y=k)=Cnkpk(1−p)n−kP(Y=k) = C_n^k p^k(1-p)^{n-k} P(Y=k)=Cnkpk(1−p)n−k
其归一化条件为二项式定理
∑k=0nP(Y=k)=∑k=0nCnkpk(1−p)n−k=(1−p+p)n=1\sum_{k=0}^{n} P(Y=k) = \sum_{k=0}^{n} C_n^k p^k(1-p)^{n-k} = (1-p+p)^n = 1 k=0∑nP(Y=k)=k=0∑nCnkpk(1−p)n−k=(1−p+p)n=1
可以根据这个结构计算二项分布的期望与方差。
EY=∑k=0nkP(Y=k)=∑k=0nkCnkpk(1−p)n−kEY = \sum_{k=0}^{n} kP(Y=k) = \sum_{k=0}^{n} kC_n^k p^k(1-p)^{n-k} EY=k=0∑nkP(Y=k)=k=0∑nkCnkpk(1−p)n−k
为了凑二项式定理的形式，需要处理掉组合数前的kkk，根据组合数的性质，这里面的kCnkkC_n^kkCnk可以替换为nCn−1k−1nC_{n-1}^{k-1}nCn−1k−1，因此
EY=∑k=0nnCn−1k−1pk(1−p)n−k=np∑k=1nCn−1k−1pk−1(1−p)(n−1)−(k−1)=np∑k=0n−1Cn−1kpk(1−p)(n−1)−k=npEY = \sum_{k=0}^{n} nC_{n-1}^{k-1} p^k(1-p)^{n-k} = np \sum_{k=1}^{n} C_{n-1}^{k-1} p^{k-1}(1-p)^{(n-1)-(k-1)} \\ = np \sum_{k=0}^{n-1} C_{n-1}^k p^k(1-p)^{(n-1)-k} = np EY=k=0∑nnCn−1k−1pk(1−p)n−k=npk=1∑nCn−1k−1pk−1(1−p)(n−1)−(k−1)=npk=0∑n−1Cn−1kpk(1−p)(n−1)−k=np
EY2=∑k=0nk2P(Y=k)=∑k=0nk2Cnkpk(1−p)n−k=np∑k=0n−1(k+1)Cn−1kpk(1−p)(n−1)−k=np∑k=0n−1kCn−1kpk(1−p)(n−1)−k+np=np∑k=0n−1(n−1)Cn−2k−1pk(1−p)(n−1)−k+np=n(n−1)p2+npEY^2 = \sum_{k=0}^{n} k^2P(Y=k) = \sum_{k=0}^{n} k^2C_n^k p^k(1-p)^{n-k} \\ =np \sum_{k=0}^{n-1} (k+1)C_{n-1}^k p^k(1-p)^{(n-1)-k} \\=np \sum_{k=0}^{n-1} kC_{n-1}^k p^k(1-p)^{(n-1)-k} + np \\ = np \sum_{k=0}^{n-1} (n-1)C_{n-2}^{k-1} p^k(1-p)^{(n-1)-k} + np \\ = n(n-1)p^2 + np EY2=k=0∑nk2P(Y=k)=k=0∑nk2Cnkpk(1−p)n−k=npk=0∑n−1(k+1)Cn−1kpk(1−p)(n−1)−k=npk=0∑n−1kCn−1kpk(1−p)(n−1)−k+np=npk=0∑n−1(n−1)Cn−2k−1pk(1−p)(n−1)−k+np=n(n−1)p2+np
Var(Y)=EY2−(EY)2=np(1−p)Var(Y) = EY^2 - (EY)^2 = np(1-p) Var(Y)=EY2−(EY)2=np(1−p)
矩生成函数也是用凑二项式定理的形式计算
MY(t)=E(etY)=∑k=0netkCnkpk(1−p)n−k=∑k=0nCnk(pet)k(1−p)n−k=(1−p+pet)nM_Y(t) = E(e^{tY}) = \sum_{k=0}^{n} e^{tk} C_n^k p^k(1-p)^{n-k} \\ = \sum_{k=0}^{n} C_n^k (pe^t)^k(1-p)^{n-k} = (1-p+pe^t)^n MY(t)=E(etY)=k=0∑netkCnkpk(1−p)n−k=k=0∑nCnk(pet)k(1−p)n−k=(1−p+pet)n

Poisson分布

假设X是Poisson随机变量，参数为λ\lambdaλ，其分布列为
P(X=k)=λke−λk!P(X=k) = \frac{\lambda^k e^{-\lambda}}{k!} P(X=k)=k!λke−λ
归一化条件的来自eλe^{\lambda}eλ的Taylor展开
∑k=0∞P(X=k)=∑k=0∞λke−λk!=e−λeλ=1\sum_{k=0}^{\infty} P(X=k) = \sum_{k=0}^{\infty}\frac{\lambda^k e^{-\lambda}}{k!}=e^{-\lambda}e^{\lambda} = 1 k=0∑∞P(X=k)=k=0∑∞k!λke−λ=e−λeλ=1
假设服从二项分布的随机变量YYY的参数满足λ=np\lambda=npλ=np，则n→∞n \to \inftyn→∞时，
P(Y=k)=Cnkpk(1−p)n−k=n!(n−k)!k!pk(1−p)n−k→2πnn+1/2e−n2π(n−k)n−k+1/2e−n+kk!pk(1−p)n−k→(np)ke−λk!(nn−k)n−k+1/2e−k→λke−λk!(1+kn−k)n−k+1/2e−k→λke−λk!P(Y=k) = C_n^k p^k(1-p)^{n-k} = \frac{n!}{(n-k)!k!} p^k(1-p)^{n-k} \\ \to \frac{\sqrt{2\pi} n^{n+1/2}e^{-n}}{\sqrt{2\pi} (n-k)^{n-k+1/2}e^{-n+k}k!} p^k(1-p)^{n-k} \\ \to \frac{(np)^ke^{-\lambda}}{k!} (\frac{n}{n-k})^{n-k+1/2}e^{-k} \\ \to \frac{\lambda^ke^{-\lambda}}{k!} (1+\frac{k}{n-k})^{n-k+1/2}e^{-k} \\ \to \frac{\lambda^ke^{-\lambda}}{k!} P(Y=k)=Cnkpk(1−p)n−k=(n−k)!k!n!pk(1−p)n−k→2π(n−k)n−k+1/2e−n+kk!2πnn+1/2e−npk(1−p)n−k→k!(np)ke−λ(n−kn)n−k+1/2e−k→k!λke−λ(1+n−kk)n−k+1/2e−k→k!λke−λ
上式说明二项分布独立重复试验次数足够多，成功概率足够小时，二项随机变量依分布收敛于Poisson随机变量。推导过程中第一个近似用的是Stirling公式，接下来运用的主要是以下引理：
如果ak→0a_k \to 0ak→0，ck→∞c_k \to \inftyck→∞，akck→λa_kc_k \to \lambdaakck→λ，则
(1+ak)ck→eλ(1+a_k)^{c_k} \to e^{\lambda} (1+ak)ck→eλ
Poisson分布一般用于记录单位时间内随机事件发生的次数，λ\lambdaλ的含义是事件发生的平均速率或者称为强度。

几何分布与负二项分布

几何分布记录独立重复Bernoulli试验第一次成功前失败的次数，其分布列为
P(X=k)=p(1−p)kP(X=k) = p(1-p)^k P(X=k)=p(1−p)k
归一化的条件来自几何序列的级数，因此被称为几何分布
∑k=0∞P(X=k)=p∑k=0∞(1−p)k=p1−(1−p)∞1−(1−p)=1\sum_{k=0}^{\infty} P(X=k) = p\sum_{k=0}^{\infty} (1-p)^k = p\frac{1-(1-p)^{\infty}}{1-(1-p)} = 1 k=0∑∞P(X=k)=pk=0∑∞(1−p)k=p1−(1−p)1−(1−p)∞=1
几何分布有另一种定义的方法，如果记录的是独立重复Bernoulli试验第一次成功前试验的次数，则同样是服从几何分布的。
负二项分布与几何分布比较类似，它记录独立重复Bernoulli试验第r次成功前失败的次数，其分布列为
P(X=k)=C−rkpr(1−p)k=Cr+k−1kpr(1−p)kP(X=k) = C_{-r}^k p^r (1-p)^k = C_{r+k-1}^k p^r (1-p)^k P(X=k)=C−rkpr(1−p)k=Cr+k−1kpr(1−p)k
考虑
p−r=[1−(1−p)]−r=∑k=0∞C−rk(p−1)k=∑k=0∞Cr+k−1k(1−p)kp^{-r} = [1-(1-p)]^{-r} = \sum_{k=0}^{\infty}C_{-r}^k (p-1)^k = \sum_{k=0}^{\infty}C_{r+k-1}^k (1-p)^k p−r=[1−(1−p)]−r=k=0∑∞C−rk(p−1)k=k=0∑∞Cr+k−1k(1−p)k
归一化条件基于负二项式定理，因此这个分布被称为负二项分布
∑k=0∞P(X=k)=∑k=0∞Cr+k−1kpr(1−p)k=prp−r=1\sum_{k=0}^{\infty} P(X=k) = \sum_{k=0}^{\infty} C_{r+k-1}^k p^r (1-p)^k = p^rp^{-r} = 1 k=0∑∞P(X=k)=k=0∑∞Cr+k−1kpr(1−p)k=prp−r=1
但成功概率一致时，负二项分布可以写成rrr个独立的几何分布的和，这个性质可以用来计算负二项分布的期望和方差。下面介绍怎么直接计算负二项分布的期望
EX=∑k=0∞kP(X=k)=∑k=0∞kCr+k−1kpr(1−p)kEX = \sum_{k=0}^{\infty} kP(X=k) = \sum_{k=0}^{\infty} k C_{r+k-1}^k p^r (1-p)^k EX=k=0∑∞kP(X=k)=k=0∑∞kCr+k−1kpr(1−p)k
其中kCr+k−1kk C_{r+k-1}^kkCr+k−1k可以被替换为(r+k−1)Cr+k−2k−1(r+k-1)C_{r+k-2}^{k-1}(r+k−1)Cr+k−2k−1
EX=∑k=0∞(r+k−1)Cr+k−2k−1pr(1−p)k=r∑k=0∞Cr+k−2k−1pr(1−p)k+∑k=0∞(k−1)Cr+k−2k−1pr(1−p)k=r(1−p)∑k=0∞Cr+k−1kpr(1−p)k+∑k=0∞(r+k−2)Cr+k−3k−2pr(1−p)k=r(1−p)+r∑k=0∞Cr+k−3k−2pr(1−p)k+∑k=0∞(k−2)Cr+k−3k−2pr(1−p)k=...=r(1−p)+r(1−p)2+r(1−p)3+...=r(1−p)pEX = \sum_{k=0}^{\infty} (r+k-1)C_{r+k-2}^{k-1} p^r (1-p)^k \\=r\sum_{k=0}^{\infty} C_{r+k-2}^{k-1} p^r (1-p)^k + \sum_{k=0}^{\infty} (k-1)C_{r+k-2}^{k-1} p^r (1-p)^k \\ = r(1-p) \sum_{k=0}^{\infty} C_{r+k-1}^{k} p^r (1-p)^k + \sum_{k=0}^{\infty} (r+k-2)C_{r+k-3}^{k-2} p^r (1-p)^k \\ = r(1-p) + r\sum_{k=0}^{\infty} C_{r+k-3}^{k-2} p^r (1-p)^k + \sum_{k=0}^{\infty} (k-2)C_{r+k-3}^{k-2} p^r (1-p)^k \\ = ... \\=r(1-p) + r(1-p)^2 + r(1-p)^3 + ... = \frac{r(1-p)}{p} EX=k=0∑∞(r+k−1)Cr+k−2k−1pr(1−p)k=rk=0∑∞Cr+k−2k−1pr(1−p)k+k=0∑∞(k−1)Cr+k−2k−1pr(1−p)k=r(1−p)k=0∑∞Cr+k−1kpr(1−p)k+k=0∑∞(r+k−2)Cr+k−3k−2pr(1−p)k=r(1−p)+rk=0∑∞Cr+k−3k−2pr(1−p)k+k=0∑∞(k−2)Cr+k−3k−2pr(1−p)k=...=r(1−p)+r(1−p)2+r(1−p)3+...=pr(1−p)
负二项随机变量的矩生成函数为
MX(t)=E(etY)=∑k=0netkCr+k−1kpr(1−p)k=(1−p+pet)−rM_X(t) = E(e^{tY}) = \sum_{k=0}^{n} e^{tk} C_{r+k-1}^k p^r (1-p)^k = (1-p+pe^t)^{-r} MX(t)=E(etY)=k=0∑netkCr+k−1kpr(1−p)k=(1−p+pet)−r

超几何分布

有个箱子里有MMM个球，其中NNN个是白球，其他球是黑球，从中抽出nnn个球，其中白球的数量为XXX，则XXX服从超几何分布。
P(X=k)=CM−Nn−kCNkCMnP(X=k) = \frac{C_{M-N}^{n-k} C_N^k}{C_M^n} P(X=k)=CMnCM−Nn−kCNk
下面给出一个恒等式
CMn=∑k=0nCM−Nn−kCNkC_M^n = \sum_{k=0}^{n} C_{M-N}^{n-k} C_N^k CMn=k=0∑nCM−Nn−kCNk
这个恒等式叫Vandermonde恒等式，它的证明也比较简单。考虑
(1+t)M=∑i=0MCMiti(1+t)^M = \sum_{i=0}^M C_M^i t^i (1+t)M=i=0∑MCMiti
将MMM写成M=N+(M−N)M=N+(M-N)M=N+(M−N)
(1+t)M=(1+t)N(1+t)M−N∑i=0MCMiti=(∑i=0NCNiti)(∑i=0M−NCM−Niti)(1+t)^M = (1+t)^{N}(1+t)^{M-N} \\ \sum_{i=0}^M C_M^i t^i = (\sum_{i=0}^N C_N^i t^i)(\sum_{i=0}^{M-N} C_{M-N}^i t^i) (1+t)M=(1+t)N(1+t)M−Ni=0∑MCMiti=(i=0∑NCNiti)(i=0∑M−NCM−Niti)
等式左边tnt^ntn项的系数为CMnC_M^nCMn，等式右边tnt^ntn项的系数为
∑k=0nCM−Nn−kCNk\sum_{k=0}^{n} C_{M-N}^{n-k} C_N^k k=0∑nCM−Nn−kCNk
同阶项的系数相等，因此上述恒等式成立。超几何分布的归一化条件就是以Vandermonde恒等式为基础的。
∑k=0nP(X=k)=∑k=0nCM−Nn−kCNkCMn=CMnCMn=1\sum_{k=0}^{n} P(X=k) = \sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_N^k}{C_M^n}= \frac{C_M^n}{C_M^n} = 1 k=0∑nP(X=k)=k=0∑nCMnCM−Nn−kCNk=CMnCMn=1
根据这个关系可以推导超几何分布的期望
EX=∑k=0nkCM−Nn−kCNkCMnEX = \sum_{k=0}^{n} k\frac{C_{M-N}^{n-k} C_N^k}{C_M^n} EX=k=0∑nkCMnCM−Nn−kCNk
先将kCNkkC_N^kkCNk替换为NCN−1k−1NC_{N-1}^{k-1}NCN−1k−1，
EX=N∑k=0nCM−Nn−kCN−1k−1CMn=N∑k=0n−1CM−N(n−1)−kCN−1kCMn=nNM∑k=0n−1CM−N(n−1)−kCN−1kCM−1n−1=nNMEX = N \sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} = N \sum_{k=0}^{n-1} \frac{C_{M-N}^{(n-1)-k} C_{N-1}^{k}}{C_M^n} \\= \frac{nN}{M}\sum_{k=0}^{n-1} \frac{C_{M-N}^{(n-1)-k} C_{N-1}^{k}}{C_{M-1}^{n-1}} = \frac{nN}{M} EX=Nk=0∑nCMnCM−Nn−kCN−1k−1=Nk=0∑n−1CMnCM−N(n−1)−kCN−1k=MnNk=0∑n−1CM−1n−1CM−N(n−1)−kCN−1k=MnN
方差要稍微困难点，这里给出计算二阶原点矩的计算过程
EX2=∑k=0nk2CM−Nn−kCNkCMn=N∑k=0nkCM−Nn−kCN−1k−1CMn=N∑k=0nCM−Nn−kCN−1k−1CMn+N∑k=0n(k−1)CM−Nn−kCN−1k−1CMn=nNM+N(N−1)∑k=0nCM−Nn−kCN−2k−2CMn=nNM+N(N−1)∑k=0n−2CM−N(n−2)−kCN−2kCMn=nNM+Nn(N−1)(n−1)M(M−1)∑k=0n−2CM−N(n−2)−kCN−2kCM−2n−2=nNM+Nn(N−1)(n−1)M(M−1)EX^2 = \sum_{k=0}^{n} k^2 \frac{C_{M-N}^{n-k} C_N^k}{C_M^n} = N\sum_{k=0}^{n} k \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} \\ = N\sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} + N\sum_{k=0}^{n} (k-1) \frac{C_{M-N}^{n-k} C_{N-1}^{k-1}}{C_M^n} \\ = \frac{nN}{M} + N(N-1)\sum_{k=0}^{n} \frac{C_{M-N}^{n-k} C_{N-2}^{k-2}}{C_M^n} \\ = \frac{nN}{M} + N(N-1)\sum_{k=0}^{n-2} \frac{C_{M-N}^{(n-2)-k} C_{N-2}^{k}}{C_M^n} \\ = \frac{nN}{M} + \frac{Nn(N-1)(n-1)}{M(M-1)}\sum_{k=0}^{n-2} \frac{C_{M-N}^{(n-2)-k} C_{N-2}^{k}}{C_{M-2}^{n-2}} \\ = \frac{nN}{M} + \frac{Nn(N-1)(n-1)}{M(M-1)} EX2=k=0∑nk2CMnCM−Nn−kCNk=Nk=0∑nkCMnCM−Nn−kCN−1k−1=Nk=0∑nCMnCM−Nn−kCN−1k−1+Nk=0∑n(k−1)CMnCM−Nn−kCN−1k−1=MnN+N(N−1)k=0∑nCMnCM−Nn−kCN−2k−2=MnN+N(N−1)k=0∑n−2CMnCM−N(n−2)−kCN−2k=MnN+M(M−1)Nn(N−1)(n−1)k=0∑n−2CM−2n−2CM−N(n−2)−kCN−2k=MnN+M(M−1)Nn(N−1)(n−1)

UA MATH564 概率论I 离散型随机变量相关推荐

UA MATH564 概率论I 求离散型随机变量的分布1
UA MATH564 概率论I 求离散型随机变量的分布1 题目解答对于离散型随机变量 XXX,记它的概率分布列为 P(X=xi)=pi,i=1,2,⋯P(X = x_i) = p_i,i=1,2, ...
UA MATH564 概率论 QE练习题3
UA MATH564 概率论 QE练习题3 第一题第二题第三题这是2015年1月的1-3题. 第一题 Part a Obvioulsy, EU=EW=0EU = EW = 0EU=EW=0, V ...
UA MATH564 概率论高阶矩的计算：有限差算子方法2
UA MATH564 概率论高阶矩的计算:有限差算子方法2 二项分布的高阶矩 Poisson分布的高阶矩负二项分布的高阶矩这一讲介绍有限差算子方法怎么用来计算常见的离散型随机变量的高阶矩.这里提 ...
UA MATH564 概率论高阶矩的计算：有限差算子方法1
UA MATH564 概率论高阶矩的计算:有限差算子方法1 有限差算子及其性质 0的有限差与Stirling数之间的关系计算离散型随机变量的n阶矩有限差算子(finite difference) ...
UA MATH564 概率论III 期望
UA MATH564 概率论III 期望随机变量的函数的期望特征函数,矩生成函数,累积量生成函数,概率生成函数这一讲讨论一元随机变量. 随机变量的函数的期望对于随机变量XXX,假设ggg是定义 ...
UA MATH564 概率论多项分布
UA MATH564 概率论多项分布多项式系数与多项式定理多项分布的定义多项分布的性质多项式系数与多项式定理下面讨论一个组合问题,假设我们要把nnn个物体分成rrr组,每一组有n1,n2, ...
UA MATH564 概率论V 中心极限定理
UA MATH564 概率论V 中心极限定理随机变量序列的极限收敛模式之间的关系大数法则中心极限定理 Classical Central Limit Theorem Sugden法则 Delt ...
UA MATH564 概率论多元随机变量的变换理论与应用2
UA MATH564 概率论多元随机变量的变换几个例题例5 X1,X2,X3∼iidEXP(λ)X_1,X_2,X_3 \sim_{iid} EXP(\lambda)X1,X2,X3∼ii ...
UA MATH564 概率论依概率收敛的一个例题
UA MATH564 概率论依概率收敛的一个例题 Part (a) Let Yn∼U(−1/n,1/n)Y_n \sim U(-1/n,1/n)Yn∼U(−1/n,1/n), Zn∼U(n,n+1 ...

UA MATH564 概率论I 离散型随机变量