put url带参数_一道腾讯面试题:如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?...
来源:http://rrd.me/ekN8q
何为布隆过滤器
还是以上面的例子为例:
判断逻辑:
多次哈希:
Guava的BloomFilter
创建BloomFilter
最终还是调用:
使用:
算法特点
使用场景
假设遇到这样一个问题:一个网站有 20 亿 url 存在一个黑名单中,这个黑名单要怎么存?若此时随便输入一个 url,你如何快速判断该 url 是否在这个黑名单中?并且需在给定内存空间(比如:500M)内快速判断出。
可能很多人首先想到的会是使用 HashSet
,因为 HashSet
基于 HashMap
,理论上时间复杂度为:O(1)
。达到了快速的目的,但是空间复杂度呢?URL字符串通过Hash得到一个Integer的值,Integer占4个字节,那20亿个URL理论上需要:20亿*4/1024/1024/1024=7.45G
的内存,不满足空间复杂度的要求。
这里就引出本文要介绍的“布隆过滤器”。
何为布隆过滤器
百科上对布隆过滤器的介绍是这样的:
布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。
是不是描述的比较抽象?那就直接了解其原理吧!
还是以上面的例子为例:
哈希算法得出的Integer的哈希值最大为:Integer.MAX_VALUE=2147483647
,意思就是任何一个URL的哈希都会在0~2147483647之间。
那么可以定义一个2147483647长度的byte数组,用来存储集合所有可能的值。为了存储这个byte数组,系统只需要:2147483647/8/1024/1024=256M
。
比如:某个URL(X)的哈希是2,那么落到这个byte数组在第二位上就是1,这个byte数组将是:000….00000010,重复的,将这20亿个数全部哈希并落到byte数组中。
判断逻辑:
如果byte数组上的第二位是1,那么这个URL(X)可能存在。为什么是可能?因为有可能其它URL因哈希碰撞哈希出来的也是2,这就是误判。
但是如果这个byte数组上的第二位是0,那么这个URL(X)就一定不存在集合中。
多次哈希:
为了减少因哈希碰撞导致的误判概率,可以对这个URL(X)用不同的哈希算法进行N次哈希,得出N个哈希值,落到这个byte数组上,如果这N个位置没有都为1,那么这个URL(X)就一定不存在集合中。
Guava的BloomFilter
Guava框架提供了布隆过滤器的具体实现:BloomFilter,使得开发不用再自己写一套算法的实现。
创建BloomFilter
BloomFilter提供了几个重载的静态 create
方法来创建实例:
public
最终还是调用:
static
BloomFilter里byte数组的空间大小由 expectedInsertions
, fpp
参数决定,见方法:
static long optimalNumOfBits(long n, double p) {
真正的byte数组维护在类:BitArray
中。
使用:
最后通过:put
和 mightContain
方法,添加元素和判断元素是否存在。
算法特点
1、因使用哈希判断,时间效率很高。空间效率也是其一大优势。2、有误判的可能,需针对具体场景使用。3、因为无法分辨哈希碰撞,所以不是很好做删除操作。
使用场景
1、黑名单 2、URL去重 3、单词拼写检查 4、Key-Value缓存系统的Key校验 5、ID校验,比如订单系统查询某个订单ID是否存在,如果不存在就直接返回。
———— e n d ————
觉得文章不错的,欢迎点在看和转发,长按下图关注公众号 程序员乔戈里,收看更多精彩。
put url带参数_一道腾讯面试题:如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?...相关推荐
- 页面url带参数_微信小程序云开发教程微信小程序的JS高级页面间数据传递
同学们大家好,我是小伊同学,上一节课我们讲解了全局数据的读写方法,那么在页面间同样需要数据交互,今天我们就来学习这部分内容. 在微信小程序中,我们常常需要将数据在页面之间进行传递,比如用户的身份信息, ...
- 一道腾讯面试题:如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?布隆过滤器...
何为布隆过滤器 还是以上面的例子为例: 判断逻辑: 多次哈希: Guava的BloomFilter 创建BloomFilter 最终还是调用: 使用: 算法特点 使用场景 假设遇到这样一个问题:一个网 ...
- 如何快速判断某 URL 是否在 20 亿的网址 URL 集合中?
假设遇到这样一个问题:一个网站有 20 亿 url 存在一个黑名单中,这个黑名单要怎么存?若此时随便输入一个 url,你如何快速判断该 url 是否在这个黑名单中?并且需在给定内存空间(比如:500M ...
- put url带参数_避免自己写的 url 被diss!建议看看这篇RESTful API简明教程!
RESTful API 是每个程序员都应该了解并掌握的基本知识,我们在开发过程中设计 API 的时候也应该至少要满足 RESTful API 的最基本的要求(比如接口中尽量使用名词,使用 POST 请 ...
- put url带参数_问题回答:Http 请求的Post 和Put 的区别
这是在我们的测试进阶社群的微信讨论群里有人讨论的一个面试题: Http 请求的 post 和 put的区别是什么? 很快有人回答"put请求单个数据",后面提问人又去网上查了资料, ...
- python编辑距离正则匹配_详解一道腾讯面试题:编辑距离
原标题:详解一道腾讯面试题:编辑距离 来自公众号:labuladong 预计阅读时间:8 分钟 前几天在网上看到一份鹅场的面试题,算法部分大半是动态规划,最后一题就是写一个计算编辑距离的函数,今天就专 ...
- url没有参数名怎么直接带参数_用30行Python爬虫带你看PLMM(划掉,喵星人)
偶尔写写爬虫也算是打磨无聊生活的一种方式了. 之前写了一个用100多行Python爬虫看世界的帖子,有兴趣的朋友可以看一下. 带你用100多行Python爬虫看看今天的世界(上) 带你用100多行Py ...
- Javascript JS 网页分享到QQ空间QQ,java实现qq分享,url带参数的方法
网页js实现qq分享 创建一个jsp页面,html页面也行,下面是简单demo代码,直接复制到就能用 html把头 <%@ page language="java" cont ...
- 字符串url获取参数_如何从URL查询字符串获取示例参数或将其附加到URL查询字符串(示例)?...
字符串url获取参数 让我们剖析几个简单的用例,并查看视图参数的工作原理(视图参数名称不是强制性的,以匹配通过URL查询字符串传递的请求参数,但在本文中,我们将重点讨论这种情况): 情况1 在inde ...
最新文章
- JavaScript 面向对象 (prototype 原型模式)
- 小学教师计算机国培培训总结,小学教师国培个人研修总结
- php编译html,将PHP模板文件编译为静态HTML页面的Ant任务
- 超级列表框排序mysql_超级列表框List Ctrl
- JavaScript实现跳跃游戏的动态编程自上而下的方法算法(附完整源码)
- VTK:图片之CannyEdgeDetector
- SQL --分支取数据
- webmagic抓取实例
- aop注解配置切点 spring_springboot aop 自定义注解方式实现一套完善的日志记录
- linux的IP配置
- Android 使用SQLiteDatabase操作SQLite数据库(二)
- luoguP3281 [SCOI2013]数数
- C# 5.0 Async函数的提示和技巧
- 基于简单的路径压缩的并查集算法
- 仿uc设置默认浏览器
- excel工具栏隐藏了怎么办_Excel的可视化伴侣—水晶易表
- 创意名片大全:一组精美的折叠效果名片设计
- 响应式织梦模板装修装饰设计类网站
- 自爆神舟电脑为什么便宜,明眼人可以看懂。
- Delphi 编写数字签名验证并获取签名信息
热门文章
- 控件安全注册方法3选
- jQuery.position()其实不可靠!
- 代码分析 | 单细胞转录组clustering详解
- 这些基因的名字太有才了,研究一下都可以发10分文章
- Mac文件共享不起作用时该怎么办
- java数据结构_概述Java中的数据结构是什么及其内部实现原理
- 第十二届蓝桥杯青少年组国赛C++中级组 第1题 -- 第3题(python3实现)
- python算法系列资料集(一)-2022.03.15
- linux的虚拟机部署项目,在虚拟机上部署Web项目
- php object 对象不存在。增加对象_深度好文:PHP写时拷贝与垃圾回收机制