布隆过滤器

布隆过滤器Bloom Filter，是1970年由布隆提出的；它实际上是一个很长的二进制向量(BitMap)和一系列随机映射函数
可以用于检索一个元素是否在一个集合中
优点：空间效率和查询时间都很好
缺点：有一定的误识别率和删除困难，通常是只增/查不删
原理：当一个元素被加入集合时，通过k个散列函数将这个元素映射成一个位数组中的k个点，把他们设置为1；检索时，我们只要看这些点是不是都是1就可以大约知道集合中是否有这个值，只要存在一个点不为1，则被检测的元素一定不存在，若全为1，则认为元素很可能存在
代码实现

//布隆过滤器
public class BloomFilter {private static final int NumSlots = 1024 * 1024 * 8; //位图的宽度private static final int NumHash = 8; //Hash函数的个数，一个Hash函数的结果标记一个位private BigInteger bitmap = new BigInteger("0"); //位图//处理原始数据，每一个Hash函数对应出一个位，Hash的值域为0~（NumSlots-1）public void addElement(String message){//有几个hash函数就执行几次for (int i = 0; i < NumHash; i++) {//获取此时hash函数得到的值int hashCode = getHash(message, i);//如果位图的该位为0，将该为置为1if(!bitmap.testBit(hashCode)){//shiftLeft表示将1左移hashCode位，再与原始bitmap或运算，即可将bitmap的该位置为1bitmap = bitmap.or(new BigInteger("1").shiftLeft(hashCode));}}}//Hash函数，n代表第几个hash函数private int getHash(String message, int n){message = message + n;try {//获取md5的实例，md5将任意输入映射成128位的整数MessageDigest md5 = MessageDigest.getInstance("md5");byte[] bytes = message.getBytes();//使用md5将bytes转化为128位的整数md5.update(bytes);BigInteger bi = new BigInteger(md5.digest());return Math.abs(bi.intValue())%NumSlots;} catch (NoSuchAlgorithmException e) {e.printStackTrace();}return -1;}//查询是否在集合中public boolean check(String message){for (int i = 0; i < NumHash; i++) {//如果位图中该位为0if(!this.bitmap.testBit(getHash(message, i))){//一定不存在return false;}}//每一位都存在，可能存在return true;}//测试public static void main(String[] args) {BloomFilter bloomFilter = new BloomFilter();Random random = new Random();bloomFilter.addElement("123456");for (int i = 0; i < 1000; i++) {bloomFilter.addElement(i*8*(i-1) + random.nextInt(1000) + "");}System.out.println(bloomFilter.check("123456")); //trueSystem.out.println(bloomFilter.check("1236")); //falseSystem.out.println(bloomFilter.check("13579242356547")); //false}
}

算法学习--布隆过滤器相关推荐

大数据算法系列——布隆过滤器
大数据算法系列--布隆过滤器一.简介 Bloom filter介绍 Bloom Filter(BF)是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集 ...
面试官让我利用哈希算法、布隆过滤器设计一个短链系统
点击上方蓝字设为星标下面开始今天的学习- 作者 | 码海来源 | 码海前言今天,我们来谈谈如何设计一个高性能短链系统,短链系统设计看起来很简单,但每个点都能展开很多知识点,也是在面试中非常适合 ...
软考2022高级架构师下午案例分析第4题：关于哈希算法、一致性哈希算法和布隆过滤器
目录 [说明] [问题1] [问题2] [问题3] [说明] 某大型电商平台建立了一个在线 B2B 商店系统,并在全国多地建设了货物仓储中心,通过提前备货的方式来提高货物的运送效率.但是在运营过程中, ...
Python爬虫学习——布隆过滤器
布隆过滤器的实现方法1:自己实现参考 http://www.cnblogs.com/naive/p/5815433.html bllomFilter两个参数分别代表,布隆过滤器的大小和hash函数的 ...
数据结构与算法学习笔记15：最大流问题 / 二分图 / 有权无权二分图的匹配 / 匈牙利算法 / 银行家算法 / 稳定婚配
数据结构与算法学习笔记15:最大流问题 / 二分图 / 有权无权二分图的匹配 / 匈牙利算法 / 银行家算法 / 稳定婚配引入小题:最短路径最大流问题(maximum flow problem) ...
布隆过滤器（Bloom Filter）- 原理、实现和推导
目录算法背景布隆过滤器–概念布隆过滤器-原理布隆过滤器-缺点布隆过滤器-实现布隆过滤器-应用布隆过滤器-公式推导算法背景问题: 在开发中,经常要判断一个元素是否在一个集合中. 实现方 ...
布隆过滤器在区块链中的应用
作者:Annchain (本文一切著作权归annchain技术团队所有,未经许可,不得转载.若需转载请联系页尾二维码.) Bloom Filter简介布隆过滤器(bloom filter)是空间 ...
【微服务】Day17（酷鲨商城前台业务总结、布隆过滤器、Docker）
酷鲨商城前台业务总结 "我负责的功能" 登录(SSO),注册显示商品分类(自关联三级分类树) 显示商品列表显示商品详情购物车管理(显示购物车列表,添加购物车,删除购物车,修改 ...
算法学习（门徒计划）3-2 哈希表与布隆过滤器及经典问题学习笔记
算法学习 (门徒计划)3-2 哈希表与布隆过滤器及经典问题学习笔记前言哈希表哈希操作冲突处理开放定址法再哈希法公共溢出区链式地址法扩容哈希表设计简易哈希表总结布隆过滤器对比 ...

算法学习--布隆过滤器

布隆过滤器

算法学习--布隆过滤器相关推荐

最新文章

热门文章