排列组合

排列组合高中应该就学过，包括两个原理（加法和乘法原理），以及排列和组合

两个原理

加法原理
比如完成某件事有3类途径，在1类中有4种方法，第2类中有2种方法，第3类中有3种方法，那么完成这件事有4+2+3种不同的方法：

完成某件事需要n个步骤，每个步骤之间有关联（不独立），第一个步骤有m种方法，而对应于第一个步的第k个方法，第二个步骤有mkm_kmk种方法，那么完成这件事共有∑k=1mmk\sum_{k=1}^mm_k∑k=1mmk种方法

乘法原理
比如完成某件事需要2个步骤，第一个步骤有3种方法，第二个步骤有2种方法，那么完成这件事共有3x2种方法：

完成某件事需要n个步骤，每个步骤之间没有关联（独立），第k个步骤有mkm_kmk种方法，那么完成这件事共有∏k=1nmk\prod_{k=1}^nm_k∏k=1nmk种方法

可以将仅有2个步骤的乘法原理过程看成1个特殊的加法原理过程，其特殊在于第一个步的第k个方法，第二个步骤有mkm_kmk种方法，并且对于任意mkm_kmk都相等。

排列与组合

从n个不同元素中取出r个，排成一排，称为一个排列，亦称为有序抽样

若取出r个元素不允许重复（不放回抽样），由乘法原理可知排列方式有AnrA_n^rAnr种：
Anr=n(n−1)...(n−r+1)=n!(n−r)!A_n^r=n(n-1)...(n-r+1)=\cfrac{n!}{(n-r)!}Anr=n(n−1)...(n−r+1)=(n−r)!n!
当r<nr<nr<n时为选排列，当r=nr=nr=n时为全排列，且Ann=n!A_n^n=n!Ann=n!

若取出r个元素允许重复（有放回抽样），由乘法原理可知排列方式有 nrn^rnr 种

从n个不同元素中取出r个，作为一组，称为一个组合，亦称为无序抽样

可以将其看成一个无序的排列，取出r个的排列总数除以每个排列可交换顺序次数。
若取出r个元素不允许重复（不放回抽样），则组合数为：
Cnr=Anrr!=n!r!(n−r)!C_n^r=\cfrac{A_n^r}{r!}=\cfrac{n!}{r!(n-r)!}Cnr=r!Anr=r!(n−r)!n!
等式组合：
Cnr=Cnn−rC_n^r=C_n^{n-r}Cnr=Cnn−r

若取出r个元素允许重复（有放回抽样），则可以采用拔靴法（Bootstrapping）：
\qquad
假设集合S={w1,w2,w3}S=\{w_1,w_2,w_3\}S={w1,w2,w3},有放回无序抽样r=2r=2r=2个，共有多少种结果 ？(求全集数量)
( 注，下列结果中“,”不用来表示先后顺序，B表示计数桶，当B=(x1，x2，x3)B=(x_1，x_2，x_3)B=(x1，x2，x3)时表示w1w_1w1个数为x1x_1x1，w2w_2w2个数为x2x_2x2，w3w_3w3个数为x3x_3x3。)
\qquad
1、B=(2，0，0)B=(2，0，0)B=(2，0，0)→\to\qquad→{w1,w1}\{w_1,w_1\}\qquad{w1,w1} 2、B=(0，2，0)B=(0，2，0)B=(0，2，0)→\to\qquad→{w2,w2}\{w_2,w_2\}{w2,w2}
3、B=(0，0，2)B=(0，0，2)B=(0，0，2)→\to\qquad→{w3,w3}\{w_3,w_3\}\qquad{w3,w3} 4、B=(1，1，0)B=(1，1，0)B=(1，1，0)→\to\qquad→{w1,w2}\{w_1,w_2\}{w1,w2}
5、B=(1，0，1)B=(1，0，1)B=(1，0，1)→\to\qquad→{w1,w3}\{w_1,w_3\}\qquad{w1,w3} 6、B=(0，1，1)B=(0，1，1)B=(0，1，1)→\to\qquad→{w2,w3}\{w_2,w_3\}{w2,w3}
\qquad
我们将上面所有结果用如下方程来表示，在B=(x1，x2，x3)B=(x_1，x_2，x_3)B=(x1，x2，x3)中有：
\qquad
x1+x2+x3=2，其中x1，x2，x3∈{0,1,2}\qquad x_1+x_2+x_3=2，\quad其中x_1，x_2，x_3\in\{0,1,2\}x1+x2+x3=2，其中x1，x2，x3∈{0,1,2}
\qquad
将上述情况推广一下，对于集合S={w1,w2....,wn}S=\{w_1,w_2....,w_n\}S={w1,w2....,wn},有放回无序抽样rrr个,结果即为：
\qquad
x1+x2...+xn=r，其中任意xi∈{0,1...,r}\qquad x_1+x_2...+x_n=r，\quad其中任意x_i\in\{0,1...,r\}x1+x2...+xn=r，其中任意xi∈{0,1...,r}
\qquad
但是上述结果是不易求解的，我们将问题转化一下，我们重新用一个桶，编号0~n，分别用来存放抽取出来的杆wiw_iwi：

我们再简化一下，把桶也去了，只留下分隔栏：

所以栏的数+杆wiw_iwi的数一共有n+r−1n+r-1n+r−1个，我们现在有n+r−1n+r-1n+r−1个孔：

我们现在要做的，要么先将rrr根杆先插入n+r−1n+r-1n+r−1个孔中，然后用剩下n-1根栏按顺序依次插入空白的孔中。由于只要rrr根杆位置确定了，栏的位置也就确定了。
要么先将n−1n-1n−1n-1根栏先插入n+r−1n+r-1n+r−1个孔中，然后用剩下r根杆按顺序依次插入空白的孔中。由于只要n−1n-1n−1根栏位置确定了，杆的位置也就确定了。
\qquad
所以有组合数为：
Cn+r−1r=An+r−1rr!=(n+r−1)!r!((n+r−1)−r)!=(n+r−1)!r!(n−1)!=Cn+r−1n−1C_{n+r-1}^r=\cfrac{A_{n+r-1}^r}{r!}=\cfrac{(n+r-1)!}{r!((n+r-1)-r)!}=\cfrac{(n+r-1)!}{r!(n-1)!}=C_{n+r-1}^{n-1}Cn+r−1r=r!An+r−1r=r!((n+r−1)−r)!(n+r−1)!=r!(n−1)!(n+r−1)!=Cn+r−1n−1

古典概型

古典概型又称为等可能概型，特点如下：

1、基本事件有限
2、基本事件互斥
3、基本事件等可能发生

定义条件：

1、Ω={w1,w2.....wn},n≠∞.n=C\Omega= \{w_1,w_2.....w_n\},n\neq \infty.n=CΩ={w1,w2.....wn},n=∞.n=C
2、wi∩wj=∅,i≠jw_i \cap w_j=\varnothing,i\neq jwi∩wj=∅,i=j
3、P(w1)=P(w2)=P(w3)...=P(wn)P(w_1)=P(w_2)=P(w_3)...=P(w_n)P(w1)=P(w2)=P(w3)...=P(wn)
4、P(Ω)=1P(\Omega)=1P(Ω)=1

性质：

设A={w1,w2.....wm}A= \{w_1,w_2.....w_m\}A={w1,w2.....wm}
则P(A)=P(w2)+P(w3)...+P(wm)=mnP(A)=P(w_2)+P(w_3)...+P(w_m)=\frac{m}{n}P(A)=P(w2)+P(w3)...+P(wm)=nm

放回抽样与不放回抽样

这个前面排列组合时已经讲过，这里就不再提及，排列组合中分为四种：

1、不放回有序采样 2、放回有序采样
3、不放回无序采样 4、放回无序采样
\qquad
但这四种抽样结果中，并不都属于古典概型，比如第四种，假设新集合AAA为从S={w1,w2}S=\{w_1,w_2\}S={w1,w2},有放回无序抽取2个，很显然该集合AAA所有元素为：
\qquad
A={a1,a2,a3}A=\{a_1,a_2,a_3\}A={a1,a2,a3}，\qquad a1={w1,w1},a1={w2,w2},a3={w1,w2}a_1=\{w_1,w_1\},a_1=\{w_2,w_2\},a_3=\{w_1,w_2\}a1={w1,w1},a1={w2,w2},a3={w1,w2}
\qquad
但是a3a_3a3的概率和a1、a2a_1、a_2a1、a2的概率并不等，因为a3a_3a3的结果可以抽到是(w1,w2)(w_1,w_2)(w1,w2)也可以是(w2,w1)(w_2,w_1)(w2,w1)，所以P(a1)=P(a2)=0.25,P(a3)=0.5P(a_1)=P(a_2)=0.25,P(a_3)=0.5P(a1)=P(a2)=0.25,P(a3)=0.5

随机抽样在机器学习中的应用

所以在机器学习中，我们从数据全集中抽取一部分样本进行训练时，采样时就要注意选择抽样方法，抽样结果是否和全集的数据分布特征一致，不一致时又如何处理。

含nnn个样本的训练集的随机放回采样中，一个样本每次被采集到的概率是1n\frac{1}{n}n1。不被采集到的概率为1−1n1- \frac{1}{n}1−n1。在连续n次采样都没有被采集中的概率是(1−1n)n(1- \frac{1}{n})^n(1−n1)n。
\qquad
当n→∞n→∞n→∞时，(1−1n)n=1e→0.368(1- \frac{1}{n})^n=\frac{1}{e}→0.368(1−n1)n=e1→0.368。也就是说，在bagging的每轮随机采样中，训练集中大约有36.836.8%36.8的数据没有被采样集采中。对于这部分大约36.8%的没有被采样到的数据，我们常常称之为袋外数据(Out Of Bag, 简称OOB)。这些数据没有参与训练集模型的拟合，因此可以用来检测模型的泛化能力。

几何分布

上面的抽样方式中，利用第四种放回无序的抽样，在对立事件的集合中，可以得到几何分布：

1、集合必须右对立事件构成，比如一个集合中，共有N件产品，且有K件次品，很显然剩下N-K件均为良品。
2、放回抽取r次，求恰好第r次才抽中次品的概率。
\qquad
由于每次抽取都是独立的，所以每次抽到次品概率为KN\frac{K}{N}NK,良品概率N−KN\frac{N-K}{N}NN−K，由乘法原理我们知道连续抽取r次，前面都抽到了良品，所以根据乘法原理有：

\qquad
P(r)=(1−p)r−1p=(N−KN)r−1(KN)P(r)=(1-p)^{r-1}p=(\frac{N-K}{N})^{r-1}(\frac{K}{N})P(r)=(1−p)r−1p=(NN−K)r−1(NK)

二项分布

上面的抽样方式中，利用第四种放回无序的抽样，在对立事件的集合中，可以得到二项分布：

1、集合必须右对立事件构成，比如一个集合中，共有N件产品，且有K件次品，很显然剩下N-K件均为良品。
2、放回抽取r次，且事件A为：r次抽取中，恰有m件次品。

求P（A）为多少？
\qquad
由于每次抽取都是独立的，所以每次抽到次品概率为KN\frac{K}{N}NK,良品概率N−KN\frac{N-K}{N}NN−K，由乘法原理我们知道连续抽取r次，抽到任意特定情况（比如下图情况）的m件次品和（r-m）件良品的概率为：(KN)m(N−KN)r−m=Km(N−K)r−mNr(\frac{K}{N})^m(\frac{N-K}{N})^{r-m}=\frac{K^m(N-K)^{r-m}}{N^r}(NK)m(NN−K)r−m=NrKm(N−K)r−m

但由于要求是无序的，所以需要将所有可能的排列算进去，得：
P(A)=Crmpm(1−p)r−m=Crm(KN)m(N−KN)r−m=CrmKm(N−K)r−mNrP(A)=C_r^mp^m (1-p)^{r-m}=C_r^m (\frac{K}{N})^m (\frac{N-K}{N})^{r-m}=C_r^m\frac{K^m(N-K)^{r-m}}{N^r}P(A)=Crmpm(1−p)r−m=Crm(NK)m(NN−K)r−m=CrmNrKm(N−K)r−m

或者也可以理解为：从集合r次抽取构成一个新集合，其中恰有m件次品的样本比例为多少？
\qquad
新集合基本事件总数为NrN^rNr个,每次从KKK件次品中取1件，取m次共有KmK^mKm种取法，同理良品有
(N−K)r−m(N-K)^{r-m}(N−K)r−m种取法，由于m件次品在r次抽样中的方式共有CrmC_r^mCrm种，所以事件A发生的个数为CrmKm(N−K)r−mC_r^mK^m(N-K)^{r-m}CrmKm(N−K)r−m，除以基本事件总数即可得到概率：
\qquad
P(A)=CrmKm(N−K)r−mNrP(A)=\frac{C_r^mK^m(N-K)^{r-m}}{N^r}P(A)=NrCrmKm(N−K)r−m

超几何分布

上面的抽样方式中，利用第三种不放回无序的抽样，在对立事件的集合中，可以得到超几何分布：

1、集合必须右对立事件构成，比如一个集合中，共有N件产品，且有K件次品，很显然剩下N-K件均为良品。
2、不放回抽取r次，且事件A为：r次抽取中，恰有m件次品。

从集合中取出r件产品作为新集合，新集合样本数为CNrC_N^rCNr,在K件次品中取m件，有CKmC_K^mCKm种取法，在N-K件次品中取r-m件，有CN−Kr−mC_{N-K}^{r-m}CN−Kr−m种取法，所以概率为：

P(A)=CKmCN−Kr−mCNrP(A)=\frac{C_K^mC_{N-K}^{r-m}}{C_N^r}P(A)=CNrCKmCN−Kr−m
\qquad

几何概型

几何概型也是等可能概型，与古典概型的区别在于基本事件个数，特点如下：

1、基本事件无限
2、基本事件互斥
3、基本事件等可能发生

特征如下：

1、样本空间SSS是一个几何区域，这区域大小可以度量，并记SSS的度量为m(S)m(S)m(S)。
2、落在区域内任意点都是等可能的，落在其内的区域AAA内的可能性与m(A)m(A)m(A)成正比。

事件A发生的概率为：
\qquad
P(A)=m(A)m(S)P(A)=\frac{m(A)}{m(S)}P(A)=m(S)m(A)

概率论3——古典概型与二项分布相关推荐

概率论：古典概型与伯努利概型
古典概型不要在意伯努利就是二项分布伯努利其实就是建模型出的题什么模型都没告诉你的叫你自己建立模型一般情况都是伯努利正态分布模型,指数分布模型题上都会直接告诉你的比如某随机变量服从正态分布什么话 ...
概率论事件关系古典概型与几何概型
基本知识点随机试验:1.不确定性2.可预知性3.可重复性基本事件:包含一个样本点必然事件:全集不可能事件:空集子集2^n-1-1(减去空集与真集) 事件间的关系 1.包含关系 2.和运算AU ...
[概统]本科二年级概率论与数理统计第一讲古典概型
[概统]本科二年级概率论与数理统计第一讲古典概型古典概型排列组合复习组合恒等式的例题古典概型的例题事件概率的性质条件概率与独立性全概率公式与贝叶斯公式事件概率的例题打算这两年写 ...
概率论学习三、古典概型
本文学习资源来自<概率论基本(李贤平)> 一. 模型与计算公式在讨论一般随机现象之前,我们先讨论一类最简单的随机现象: 1. 在试验中它的全部可能结果只有有限个,譬如为nnn个,记为E1 ...
概率论学习一——公理化定义及古典概型
概率论学习一前言一.概率论的公理化定义 1.公理化定义 2.性质二.古典概型 1.啥叫古典概型? 2.超几何分布总结前言仅用于记录自己学习过程一.概率论的公理化定义 1.公理化定义设S ...
古典概型——概率论与数理统计（宋浩）
事件的概率 1.2.1概率的初等描述概率的定义:事件发生的可能性的大小(P(A)) 性质: P(Ω)=1,P(φ)=0(规范性) 0<=P(A)<=1(非负性) 有限可加:A1,A2,A ...
概率论知识回顾（二）：古典概型，几何概型
概率论知识回顾(二) 关键词:古典概型,几何概型知识回顾用于巩固知识和查漏补缺.知识回顾步骤: 查看知识回顾中的问题,尝试自己解答自己解答不出来的可以查看下面的知识解答巩固知识. 对知识解答有疑问 ...
概率论 1.3 古典概型与几何概型
1.3.1 排列与组合排列从n个不同元素任取r(r<=n)个元素排成一列(考虑元素出现的先后次序),称此为一个排列,此种排列的总数为=n(n-1)....(n-r+1)=n!/(n-r)!, ...
概率论基础 —— 1. 基本事件类型、运算规则，及古典概型与几何型概型
概率论与数理统计的相关知识,是机器学习及深度学习最常应用到的基本知识.因为对于机器学习和深度学习来说,最常见的一个应用场景就是训练一堆样本集后,给定一个测试样本,它可能同时具备类A和类B的特征,那么就 ...

概率论3——古典概型与二项分布