如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?
假设遇到这样一个问题:一个网站有 20 亿 url 存在一个黑名单中,这个黑名单要怎么存?若此时随便输入一个 url,你如何快速判断该 url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。
可能很多人首先想到的会是使用 HashSet
,因为 HashSet
基于 HashMap
,理论上时间复杂度为:O(1)
。达到了快速的目的,但是空间复杂度呢?URL字符串通过Hash得到一个Integer的值,Integer占4个字节,那20亿个URL理论上需要:20亿*4/1024/1024/1024=7.45G
的内存,不满足空间复杂度的要求。
这里就引出本文要介绍的“布隆过滤器”。
何为布隆过滤器
百科上对布隆过滤器的介绍是这样的:
布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。
是不是描述的比较抽象?那就直接了解其原理吧!
还是以上面的例子为例:
哈希算法得出的Integer的哈希值最大为:Integer.MAX_VALUE=2147483647
,意思就是任何一个URL的哈希都会在0~2147483647之间。
那么可以定义一个2147483647长度的byte数组,用来存储集合所有可能的值。为了存储这个byte数组,系统只需要:2147483647/8/1024/1024=256M
。
比如:某个URL(X)的哈希是2,那么落到这个byte数组在第二位上就是1,这个byte数组将是:000….00000010,重复的,将这20亿个数全部哈希并落到byte数组中。
判断逻辑:
如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。
但是如果这个byte数组上的第二位是0,那么这个URL(X)就一定不存在集合中。
多次哈希:
为了减少因哈希碰撞导致的误判概率,可以对这个URL(X)用不同的哈希算法进行N次哈希,得出N个哈希值,落到这个byte数组上,如果这N个位置没有都为1,那么这个URL(X)就一定不存在集合中。
Guava的BloomFilter
Guava框架提供了布隆过滤器的具体实现:BloomFilter,使得开发不用再自己写一套算法的实现。
创建BloomFilter
BloomFilter提供了几个重载的静态 create
方法来创建实例:
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions, double fpp);
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions, double fpp);
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, int expectedInsertions);
public static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions);
最终还是调用:
static <T> BloomFilter<T> create(Funnel<? super T> funnel, long expectedInsertions, double fpp, Strategy strategy);
// 参数含义:
// funnel 指定布隆过滤器中存的是什么类型的数据,有:IntegerFunnel,LongFunnel,StringCharsetFunnel。
// expectedInsertions 预期需要存储的数据量
// fpp 误判率,默认是0.03。
BloomFilter里byte数组的空间大小由 expectedInsertions
, fpp
参数决定,见方法:
static long optimalNumOfBits(long n, double p) {if (p == 0) {p = Double.MIN_VALUE;}return (long) (-n * Math.log(p) / (Math.log(2) * Math.log(2)));
}
真正的byte数组维护在类:BitArray
中。
使用:
最后通过:put
和 mightContain
方法,添加元素和判断元素是否存在。
算法特点
1、因使用哈希判断,时间效率很高。空间效率也是其一大优势。2、有误判的可能,需针对具体场景使用。3、因为无法分辨哈希碰撞,所以不是很好做删除操作。
使用场景
1、黑名单 2、URL去重 3、单词拼写检查 4、Key-Value缓存系统的Key校验 5、ID校验,比如订单系统查询某个订单ID是否存在,如果不存在就直接返回。
如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?相关推荐
- 一道腾讯面试题:如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?布隆过滤器...
何为布隆过滤器 还是以上面的例子为例: 判断逻辑: 多次哈希: Guava的BloomFilter 创建BloomFilter 最终还是调用: 使用: 算法特点 使用场景 假设遇到这样一个问题:一个网 ...
- put url带参数_一道腾讯面试题:如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?...
来源:http://rrd.me/ekN8q 何为布隆过滤器 还是以上面的例子为例: 判断逻辑: 多次哈希: Guava的BloomFilter 创建BloomFilter 最终还是调用: 使用: 算 ...
- 快速判断IC芯片好坏的方法
快速判断IC芯片好坏的方法 在日常电路维修工作中如何准确判断电路中电源IC芯片的好坏,是修理电视.音响.录像设备的一个重要工作内容,如果判断不准确,不但花费了大量的精力,重点是集成电路中的故障依然存在 ...
- 让你最快速地改善代码质量的 20 条编程规范
根据学习部分极客时间 <设计模式之美>专栏 (王争 前Google工程师)和<阿里 java 规范>整理总结. 分别介绍编码规范的三个部分:命名与注释(Naming and C ...
- Java快速生成20亿数字_20 亿个数字在 4G 内存中如何去重排序:快来试一试 BitMap...
有一道流传广泛的面试题: 给你一台 4G 内存的机器,一组 20 亿个无序正整数,如何快速地判断一个正整数 N 是否在这组数字中?或者如何快速地对这组数据排重后排序? 让我们先算算 20 亿个整数会占 ...
- golang 包含 数组_在 Golang 中如何快速判断字符串是否在一个数组中
在使用 Python 的时候,如果要判断一个字符串是否在另一个包含字符串的列表中,可以使用in 关键词,例如: name_list= ['pm', 'kingname', '青南'] if 'king ...
- 如何快速判断一个文件是否为病毒
如何快速判断一个文件是否为病毒 这篇文章主要是快速辨别正常文件与病毒,我自己也不是专业人员,方法是我自己总结出来的,很业余,不过我觉得还是有些用处的.如果你有更好的办法,欢迎跟帖提出.下面正文开始. ...
- 计算机主板桥烧坏了怎么办,经验:快速判断主板南、北桥是否损坏
快速判断南桥已经损坏 下面几个条件一般可以判断为南桥已经击穿和损坏: 1)SB3.3V或5V对地短路或阻值小于80欧姆 2)USB数据线对地短路或对地阻值小于80 3)CMOS跳线中间脚对地短路 4) ...
- 使用Js快速判断链接是否为外链
问题描述 在vue中实现一个跳转功能,点击跳转到某个链接,当这个链接是该项目以外的链接时(也称外链),会报错,使用的方式是 this.$router.push() 报错截图如下所示: 原因分析 在项目 ...
最新文章
- GitHub 开源的 MySQL 在线更改 Schema 工具【转】
- 设计模式复习-策略模式
- 比特币这么火热,看看这篇比特币初学者指南
- BestCoder Round #84
- Qt Quick的国际化和本地化
- mysql 不匹配的_mysql – 如何从两个表中获取不匹配的记录
- linux cp 时 略过文件,CentOS下执行cp命令式提示略过文件夹
- iis php打开空白页,windows+IIS+php 访问显示空白页 php版本信息访问正常
- ios 不被遮挡 阴影_为何你没见到日环食?你不知道的天象常识原来还有这么多 | 返朴...
- iOS NSString和NSDate转换
- linux 渲染程序图层管理,Linux驱动多图层开发--lcdc/framebuffer的注册(RK平台)
- 2021年最值得推荐的报表工具,无代码轻松实现可视化开发
- XML的四种解析器原理及性能比较
- 148. Sort List (java 给单链表排序)
- 通达信公式解密工具5.05
- “国潮” MCU厂商列表
- 书摘---创业36条军规4:如何组建公司
- G711(PCM/PCMA/PCMU),G721,G723,G729等 音频编解码
- 将应用程序添加到鼠标右键发送到
- 10、刷牛客网SQL题(四)