【搞定算法】蓄水池算法

1、问题描述分析

采样问题经常会被遇到，比如：

1、从 100000 份调查报告中抽取 1000 份进行统计；
2、从一本很厚的电话簿中抽取 1000 人进行姓氏统计；
3、从 Google 搜索 "Ken Thompson"，从中抽取 100 个结果查看哪些是今年的。

既然说到采样问题，最重要的就是做到公平，也就是保证每个元素被采样到的概率是相同的。所以可以想到要想实现这样的算法，就需要掷骰子，也就是随机数算法。（这里就不具体讨论随机数算法了，假定我们有了一套很成熟的随机数算法了）

对于第一个问题，还是比较简单，通过算法生成 [0,100000−1)[0,100000−1) 间的随机数 1000 个，并且保证不重复即可。再取出对应的元素即可。

但是对于第二和第三个问题，就有些不同了，我们不知道数据的整体规模有多大。可能有人会想到，我可以先对数据进行一次遍历，计算出数据的数量 N，然后再按照上述的方法进行采样即可。这当然可以，但是并不好，毕竟这可能需要花上很多时间。也可以尝试估算数据的规模，但是这样得到的采样数据分布可能并不平均。

2、蓄水池算法

终于要讲到蓄水池采样算法（Reservoir Sampling）了。先说一下算法的过程：

1、假设数据序列的规模为 n，需要采样的数量的为 k。

2、首先构建一个可容纳 k 个元素的数组，将序列的前 k 个元素放入数组中。

3、然后从第 k+1 个元素开始，以 k/n 的概率来决定该元素最后是否被留在数组中（每进来一个新的元素，数组中的每个旧元素被替换的概率是相同的）。当遍历完所有元素之后，数组中剩下的元素即为所需采取的样本。

证明过程

第 1 种情况：对于数组中第 i 个数据（i ≤ k）。在 k 步之前，被选中的概率为 1。当走到第 k+1 步时，被第 k+1 个数据替换的概率 = 第k+1个元素被选中的概率 * 第i个数被选中替换的概率，即为。则被保留的概率为。依次类推，在不被第 k + 1 个元素替换的前提下，不被第k+2 个数据替换的条件概率为。则运行到第 n 步时，被保留的概率 = 被选中的概率 * 不被替换的概率，即（条件概率的连乘）：

第 2 种情况：对于第 j 个数据（j > k）。第 j个数据被选中的概率为 k / j。不被第 j + 1 个元素替换的概率为。则运行到第 n步时，被保留的概率 = 被选中的概率 * 不被替换的概率，即条件概率的连乘）：

所以对于其中每个元素，被保留的概率都为 k/n。

3、代码实现

public class ReservoirSampling {// 从N个元素中等概率的选出K个public static int[] sampling(int K, int N){if(N < 1 || K < 1 || N < K){return null;}// 初始化所有数据int[] arr = new int[N];for(int i = 0; i < N; i++){arr[i] = i;}int[] pool = new int[K];for(int i = 0; i < K; i++){// 前K个数据直接放进数组中pool[i] = arr[i];}Random random = new Random();// K+1个元素开始进行概率抽样for(int i = K; i < N; i++){// 等概率的返回下标为 0-i中的一个int index = random.nextInt(i + 1);if(index < K){// 用pool[i]替换掉res[index]，index是随机等概率选中的pool[index] = arr[i];}}return pool;}public static void main(String[] args) {System.out.println(Arrays.toString(sampling(20, 10000)));}
}