【大数据算法】蓄水池抽样算法

一、题目来源：

这个题目的由来是周围有人讨论到去面试（某8）的时候遇到了这个问题。另外正好HIT有个视频也有这个内容，故记录一下：

二、题目描述：

该人面试的时候问的是：

如何从二进制文件中等概率取整数？

这个题目说的有点不清楚实际上是：一个二进制文件中有好多好多整数，你要随机取出一个。

三、题目分析

这个问题的难点就在于你开始不知道有多少的整数，也就是说这个（1/n）你不知道n是多少。

这里我们要用到蓄水池抽样算法，这个算法的思想很简单，我们待会再看，先看上面的题目。

四、题目解法

1）解法如下：

首先我们取到第一个数（暂时取的最后要不要还不一定呢），然后对第二个数以1/2的概率来确定是否用第二个数来替换他，然后对第二个数以1/3的概率来确定是否用第三个数来替换他。。。。一直这样下去直到第n个数。

经过上面的这个过程我们发现每个数取到的概率都变成了（1/n）。证明如下：

总结起来就是一句话每个数取到的概率等于取到该数且取不到该数后面所有数的概率。

如：取到第10个数的概率等于取到第十个数且取不到第11到第n个数的概率

现在我们回到较复杂的情况,也就是如何在一个N个数（开始不知道N是几）中随机取M个数。其实思想是一样的，就是先取出前M个，然后对后面的开始每个以(k/(i))的概率进行替换，这样我们得到的就是所要的结果，证明如下：

五、题目实现

OK！下面是python的代码实现

 1 import random
 2 import copy
 3
 4 def reservoirSampling(seq, k):
 5     localSeq = copy.deepcopy(seq)
 6     N = len(localSeq)
 7     for i in xrange(k, N):
 8         M = int(random.uniform(0, i))
 9         if M < k :
10             temp = copy.deepcopy(localSeq[M])
11             localSeq[M] = copy.deepcopy(localSeq[i])
12             localSeq[i] = temp
13     return localSeq[0:k]
14 def main():
15     a = [4,5,6,3,4,7,7,4,3,3,2,4,5,5,6,9,5,4,3,45,3,23,44,55,33,5,8]
16     k = 5
17     print reservoirSampling(a, k)
18 if __name__ == '__main__':
19     main()

六、总结归纳

怎么说呢，实在是太佩服这个想法了，好好学习领悟吧。

来自为知笔记(Wiz)

转载于:https://www.cnblogs.com/MrLJC/p/4113276.html

【大数据算法】蓄水池抽样算法相关推荐

蓄水池采样算法的python实现_常用算法-蓄水池抽样算法
Leetcode上遇到一道题,题目是这样的: 这道题的关键是链表的长度不知道,但是要使随机返回每个元素的概率相等,这一下就难倒我了,如果知道链表的长度k,从0到k中随机选择一个整数就好了呀,可现在不知 ...
蓄水池抽样算法(reservoir sampling)
蓄水池抽样算法(reservoir sampling) 场景:在长度未知的数据流中,等概率地采样一定数量的数据.即,数据量N未知,若要求采样k个数据,采样概率保证kN\frac{k}{N}Nk. 要 ...
蓄水池采样算法的python实现_蓄水池抽样算法（Reservoir Sampling）
蓄水池抽样算法(Reservoir Sampling) 许多年以后,当听说蓄水池抽样算法时,邱simple将会想起,那个小学数学老师带他做"小明对水池边加水边放水,求何时能加满水" ...
图解连续学习中的蓄水池抽样算法(The Illustrated Reservoir sampling)
图解连续学习中的蓄水池抽样算法The Illustrated Reservoir sampling 前言什么是Reservoir Sampling? 蓄水池抽样算法(Reservoir sampli ...
机器学习中的数学——蓄水池抽样算法（Reservoir Sampling Algorithm）
分类目录:<机器学习中的数学>总目录蓄水池抽样算法(Reservoir Sampling Algorithm)解决了未知长度数据的均匀抽样问题,即:给定一个数据流,数据流长度NNN很大, ...
LeetCode Random Pick Index(蓄水池抽样算法)
问题:给出一个数组,存在相同的数,随机输出目标数所在的下标思路:使用蓄水池抽样算法,当第一次找到目标数时,作为选取.接着如果随机数等于0,则选取.在遍历完后,直接返回选取的值具体代码参考: htt ...
大数据相关技术和算法
大数据的关键技术: 大数据的关键技术分为分析技术和处理技术,可用于大数据分析的关键技术主要包括A/B测试,关联规则挖掘,数据挖掘,集成学习,遗传算法,机器学习,自然语言处理,模式识别,预测模型,信号处 ...
字王：大数据与黑天鹅算法2.0
字王:大数据与黑天鹅算法2.0 wiki百科:"黑天鹅"隐喻那些意外事件:它们极为罕见,在通常的预期之外. 如果一种理论.模型和算法,能够在一年内,捕获一只黑天鹅,无疑是成功的.科 ...
大数据的几大经典算法
大数据的几大经典算法一. CART: 分类与回归树 CART, Classification and Regression Trees.在分类树下面有两个关键的思想:第一个是关于递归地划分自变量空 ...

【大数据算法】蓄水池抽样算法

【大数据算法】蓄水池抽样算法相关推荐

最新文章

热门文章