老是记不住各种分布及其意义，每次用时，回查各个课本资料也很麻烦，一些分布的重要性质也是各处散布，经常找不到，故这里做个总结，当作个资料卡用。

内容有各种常见概率分布，一般会写含义、密度函数形式、期望、方差、特征函数，其它性质感觉重要就添加(有趣但感觉没什么用的不会添加)。

先介绍下在R中的使用随机数，密度函数，分布函数，分位函数的命令，使用正态分布为示例。以下不做说明均是使用 R 语言。随机数

从服从某种分布的总体中抽出样本

> rnorm(5)

[1] 0.2858567 -0.7578348 0.6322224 0.6289619 -0.6743083概率密度函数(probability density function pdf)

分布的概率密度函数值

。有时直接称密度函数。

> dnorm(0)

[1] 0.3989423

> dnorm(3.2)

[1] 0.002384088

使用这个函数就可以画出概率密度函数图，

x = seq(-5,5,by=0.01)

y = dnorm(x)

plot(x,y)累积分布函数(cumulative distribution function cdf)

含义为对pdf的积分函数

。有时直接称分布函数。

> pnorm(0)

[1] 0.5

> pnorm(1.3)

[1] 0.9031995

> pnorm(3.6)

[1] 0.9998409分位函数

cdf的反函数，从pdf理解更简单，pdf下方总的面积为1，q(0.9)表示从

到值q(0.9)处，累积概率为0.9。显然这个函数一个用处是计算否定域

> qnorm(0.5)

[1] 0

> qnorm(0.9031)

[1] 1.29942

> qnorm(0.025) #显著性水平为0.05，拒绝域(-1.95,1.95)

[1] -1.959964

用随机数理解，如果随机抽取，90%的数在

到值q(0.9)之间，

> qnorm(0.9)

[1] 1.281552

> sum(rnorm(1e5)<1.281552)/1e5

[1] 0.90048

1.退化分布；2.伯努利分布；3.Categorical 分布；4.二项分布；5.多项分布；6.中餐馆分布

7.泊松分布；8.几何分布；9.超几何分布；10.负二项分布(又称巴斯卡分布)；11.正态分布；

12.均匀分布；13.指数分布；14.卡方分布；15.t分布；16.F分布；17.柯西分布；

18.Gamma分布；19.beta分布；20.对数正态分布；21.Weibull分布；22.逻辑分布；23.狄利克雷分布；

1.退化分布(degenerate distribution)

[1]基本密度函数

随机变量值只取常数

。事实上它并不随机，但把它看作随机变量的退化情况，因此称为退化分布。期望

方差

特征函数

[2]重要性质

2.伯努利分布

[1]基本

随机变量只取0或1，表示事件不发生或发生，也可以说是事件发生0次或发生1次密度函数

为随机变量，

为该分布的参数。期望

方差

特征函数

[2]重要性质

3.Categorical分布

[1]基本

伯努利分布为一次只有两种可能结果{0,1}的试验，Categorical 分布可以有多种可能{1,2,...,K}。密度函数期望

方差

特征函数

[2]重要性质

4.二项分布

[1]基本

也称为

重伯努利分布，某伯努利事件成功的概率为

，重复进行

次伯努利事件，成功的次数为

的概率。随机变量为

，可取

密度函数

画个密度图看看，

k = 0:15 #随机变量

p = dbinom(k,15,0.7) #15重伯努利，成功概率取0.7

plot(k,p)期望

方差

特征函数

[2]重要性质

1.几个二项式系数的关系式

2.二项分在

时近似为正态分布

k = 0:100

p = dbinom(k,100,0.4)

plot(k,p)

5.多项分布(Multinomial Distribution)

[1]基本

也可以进行多次Categorical 分布试验，Categorical 分布的事件用

表示，对应的概率为

，进行

次试验(每次都会发生

中的一个)各个事件发生的次数为

，注意有

，概率为，密度函数

期望

方差

特征函数

[2]重要性质

1.从离散分布抽iid的样本，样本发生的概率都可以看作是多项分布。多项分布在推导皮尔逊卡方定理、列联表的卡方检验都有用到。是一个重要且很有用的分布。

6.中餐馆分布(Chinese restaurant process CRP )

这是本专栏中“狄利克雷过程和中餐馆过程”的部分内容，里面同时也说明了该分布的用处。

多次伯努利分布(每次试验只有两种结果)得到二项分布，多次Categorical 分布(每次试验有K种结果)得到多项分布。进一步考虑。如果每次试验有无穷种可能结果，进行多次试验又会如何。

[1]基本

把过程想象成客人进入餐馆就坐的过程，餐馆中有无穷个桌子。每一次试验相当于一个客人选择一个桌子坐下。

圆圈表示餐桌，数字表示客人，1号客人选择了第一个餐桌，4号客人选择了第3个餐桌。

看看上图发生的概率，

首先所有桌都没人，1号进入直接坐在1桌；

2号进入，分别以概率

坐在1桌和一个新的空桌，结果是坐在了1桌；

3号进入，分别以概率

坐在1桌和一个新空桌，结果坐在了一个新空桌2桌；

...

8号进入，分别以概率

分别为进入第1,2,3,4个桌和一个新空桌的概率，结果坐在了3桌；

故上图发生的概率为，

概率密度函数

关于这个概率的计算前人早就算好了，

A是

，

为第

类的数量，即坐在第k个桌的人数，

当前非空的桌数量。

library(nimble)

> rCRP(n=1, conc = 2, size=15) #alpha也称concentration，即这里的conc参数。15个客人

[1] 1 2 3 1 1 4 5 1 5 1 3 4 1 1 1

> rCRP(n=1, conc = 2, size=15) #该函数目前只能一次产生一个随机样本，即 n 只能为1

[1] 1 2 2 2 3 4 3 2 2 3 2 5 5 3 6

> rCRP(n=1, conc = 2, size=15)

[1] 1 2 1 3 1 4 4 2 4 4 2 4 1 4 4

> rCRP(n=1, conc = 2, size=15)

[1] 1 2 1 2 2 1 1 1 1 1 1 1 1 2 1

#可以看到有时分为5类，有时分为6类，有时分为4类，...

z = c(1,1,2,3,1,3,4,3)

dCRP(z, conc = 1, size=8) #这里看看上面例子发生的概率。注意size要和z的长度值相等

[1] 9.920635e-05

从上面的分析可知

越大，客人坐到空桌的概率越大

，也就

参数越大，上面产生随机样本时类越多。

如果已知c(1,1,2,3,1,3,4)，看上面可以算出

条件概率分布，懒得自己编程，也可以利用dCRP()函数和关系

计算，

a = c()

for(i in 1:5){

z7 = c(1,1,2,3,1,3,4)

z8 = c(1,1,2,3,1,3,4,i)

a = c(a,dCRP(z8, conc = 1, size=8)/dCRP(z7, conc = 1, size=7))

}

> a #即已知前7个情况，第8个客人选择各个餐桌的概率

[1] 0.375 0.125 0.250 0.125 0.125

这里有一个问题是dCRP()可能会很小，看上面size=8时会计算出9.920635e-05，如果size更大概率会更小使得R语言认为该值为0，导致除法没法算，方法自然是计算时使用概率的对数值，dCRP()设置参数log即可，

> dCRP(z1, conc = 1, size=400) #z1的size=400，即试验了400次

[1] 0

> dCRP(z1, conc = 1, size=i,log=1) #实际计算时，应该注意这个值为概率对数值

[1] -922.6469

其实可以看到R语言里面很多计算概率的函数都会设置log这个参数，也是预防这个问题。期望

方差

特征函数

[2]重要性质

7.泊松分布(

)

[1]基本

泊松分布起初是作为二项分布的近似引出的。当二项分布中

很大(计算

困难)，而

很小时，取

，有

，其中

。密度函数

为随机变量，可取0, 1, 2, ...

密度图，

k = 0:20 #随机变量取值，可取到无穷大，这里只取到20

p = dpois(k,0.8)

plot(k,p)期望

方差

特征函数

[2]重要性质

1.这个分布的期望方差相等

2.极限分布(

)为正态分布

画个 图看看，

k = 0:50

p = dpois(k,20) #lambda = 20

plot(k,p)

[3]为何要引入泊松分布来近似二项分布

[4]泊松分布也可以不由二项分布推出来，而由一些条件独立于二项分布推出来

[5]广义泊松分布

泊松分布的期望和方差值相等是一个特点，也是一个很强的限制，然而现实生活中大多数据是不符合期望方差相等的，于是创建一个不限制期望方差相等的离散分布。

对应期望方差，

时就回到了一般的泊松分布。

8.几何分布

[1]基本

进行多次伯努利试验，直到第

​次才首次成功的概率，​

为随机变量可取1，2，...密度函数

概率密度图，

k = 0:50 #注意，随机变量确实应该从1开始，但R语言中k=0，实际是+1后再代入计算

p = dgeom(k,0.3) #在使用rgeom()产生的随机数也是从0开始，应+1

plot(k,p)期望

方差

特征函数

[2]重要性质

1.无记忆性

​表示首次成功时的已经试验的次数。一种情况是第​

次首次成功，概率为

；另一种情况，前​次

没有成功，那么再试验​

次首次成功的概率为

。再试验​

次和直接试验​

次概率相同，好像前​

次没有发生，称为无记忆性。只有几何分布有这种无记忆性。

9.超几何分布

[1]基本

一批产品共有

个，次品共有

个，从中抽取

个，则次品

为个的概率。然而，一般是无法提前知道一批产品中共有多少次品。密度函数

随机变量为

，可取0, 1, 2, ...,

密度图，

k1 = 0:8

p = dhyper(k1,m=10,n=30,k=8) #产品中次品10个，好品30个，每次抽8个

plot(k1,p)期望

方差

特征函数

[2]重要性质

10.负二项分布(又称巴斯卡分布)

[1]基本

多重伯努利事件中，已知成功​

次，则达成成功​

次时的试验次数为

​的概率，第​

次试验刚好达到第​

次成功。随机变量为试验次数

​。如，要成功3次，进行5次试验就出现第3次成功的概率密度函数

k1 = 0:10 #计算时，会自动 k1+4 ，于是随机变量取值为，4,5,...,14

p = dnbinom(k1,size=4,prob=0.3) #伯努利试验成功的概率为0.3，需要成功4次

plot(k1,p)期望

方差

特征函数

[2]重要性质

1.期望方差的计算：

巴斯卡分布

是重复独立试验(成功概率

)中成功

次所需要的试验次数 可以把它分解为

，其中

为在前一次成功后，再成功一次所需要的试验次数，

服从几何分布,期望为

，方差是

。得，

“ 常用概率分布总结(2)”接其它分布。