Bloom Filter （布隆过滤器）

问题的引入：
我们在使用看b站时，它会不停给我们推送内容，但是每次推送的内容基本上都不是重复的，那么它是怎么做到推送去重的呢？怎么快速过滤掉用户已经查看过的内容呢？

用hashtable 缺点：浪费空间
用位图存储用户记录缺点：位图一般只能用来处理整形，如果内容编号是字符串则无法处理了。

所以这时将hashtable和位图相结合也就有了我们的 bloom filter

bloom filter 概念

布隆过滤器是由 Burton Howard Bloom 在1970年提出的一种概率型的数据结构，特点是高效的插入和查询，能够告诉你某样东西一定不在或者可能存在，它是用多个哈希函数，将一个数据映射到位图结构中。此种方式不仅可以提升查询效率，还能节省大量的空间。

布隆过滤器的优点

增加和查询元素的时间复杂度为O(k),k为哈希函数个数，一般比较小，与数据量无关。
哈希函数相互之间没有关系，方便硬件并行运算。
布隆过滤器不需要存储元素本身，在某些对保密要求比较严格的场合有很大的优势
在能够承受一定的误判时，布隆过滤器比其他数据结构由着很大的空间优势。
数据量很大时，布隆过滤器可以表示全集
使用同一组散列函数的布隆过滤器可以进行交并补的运算。

布隆过滤器的缺点

有误判率，存在假阳性（False Positive），不能准确判断元素是否在集合中。（能判断某个元素一定不存在，但不能判断某个元素一定存在）
不能获取元素本身，存的只是一个标识
一般情况下bloom filter不支持删除
如果采用计数方式删除，可能会存在计数回绕问题。

关于让bloom filter的删除功能

布隆过滤器不能直接支持删除工作，因为在删除一个元素时，会影响其他元素

一种支持删除的方法：将bloom filter中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器（k个哈希函数计算出的哈希地址）加一，删除元素时，给k个计数器减一，通过多占用几倍的存储空间的代价来增加删除。

但是 1. 无法确认元素是否真正在布隆过滤器中
2. 存在计数回绕

bloom filter的应用场景：

注册的时候，快速判断某个昵称是否用过
没有用过，ok
用过，再去数据库中确认
黑名单
不是黑名单，放行
是，再去数据库中确认

以两个hashfunc为例实现布隆过滤器

namespace lsy
{   struct DJBHash{size_t operator()(const std::string& s){size_t hash = 5381;for (auto ch : s){hash += (hash << 5) + ch;}return hash;}};struct JSHash{size_t operator()(const std::string& s){size_t hash = 1315423911;for (auto ch : s){hash ^= ((hash << 5) + ch + (hash >> 2));}return hash;}};template<size_t M,class K = std::string,class HashFunc1=DJBHash,class HashFunc2 =JSHash>class BloomFilter{public:void Set(const K& key){size_t hash1 = HashFunc1()(key) % M;size_t hash2 = HashFunc2()(key) % M;_bs.set(hash1);_bs.set(hash2);}bool Test(const K& key){size_t hash1 = HashFunc1()(key) % M;if (_bs.test(hash1) == false){return false;}size_t hash2 = HashFunc2()(key) % M;if (_bs.test(hash2) == false){return false;}return true; // 只是有可能存在}private:bitset<M> _bs;};}

Bloom Filter （布隆过滤器）相关推荐

布隆过滤器速度_高并发系统一定要考虑的 Bloom Filter 布隆过滤器
开篇思考你能想到哪些方式判断一个元素是否存在集合中? 布隆过滤器并不存储数据本身,那么是怎么做到过滤的? 布隆过滤器实现?参数配置? 一般我们用来判断一个元素是否存在,会想到用 List,Map,S ...
Bloom Filter 布隆过滤器
目录 Bloom Filter简介布隆过滤器的原理布隆过滤器的实现使用guava实现使用redis实现 Bloom Filter简介 Bloom Filter 布隆过滤器,由一个叫布隆的小伙子 ...
Hash（哈希/散列）和Bloom Filter(布隆过滤器)
文章目录 Hash(函数/表) Bloom Filter 布隆过滤器的误识别问题总结参考 Hash(函数/表) Hash (中译为哈希,或者散列)函数在计算机领域,尤其是数据快速查找领域,加密领域 ...
Bloom Filter(布隆过滤器)
一.介绍 Bloom Filter是一个有m bits的bit array,每一个bit位都初始化为0.并且定义有k个不同的hash function,每个都以uniform random distr ...
Redis缓存击穿解决办法之bloom filter布隆过滤器
转载地址:http://blog.jobbole.com/113396/ 布隆过滤器:Google Guava类库源码分析及基于Redis Bitmaps的重构 2017/12/30 · 开发 · B ...
Bloom Filter布隆过滤器（解决redis缓存穿透）
目录 1.什么是布隆过滤器: 2.用BitSet手写简单的布隆过滤器 3.redis中的缓存穿透 4.Redis中的布隆过滤器 4.1 RedisBloom 4.1.1直接编译进行安装 4.1.2使用 ...
Bloom filter(布隆过滤器)学习与使用总结
一.简介当我们使用主流数据结构如 Lists, Maps, Sets, Trees等等时,我可以得到确切的结果,无论这个数据存在或是不存在.概率数据结构能够提供一种基于内存的,快速的查找出一种可能而 ...
Bloom Filter(布隆过滤器)的概念和原理
Bloom filter 适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集基本原理及要点: 对于原理来说很简单,位数组+k个独立hash函数.将hash函数对应的值的位数组置1,查找时 ...
Bloom Filter(布隆过滤器)的概念和原理（转）
Bloom filter 适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集基本原理及要点: 对于原理来说很简单,位数组+k个独立hash函数.将hash函数对应的值的位数组置1,查找时 ...
Hbase-之Bloom Filter布隆过滤器 hbase请求交互
Hbase-之Bloom Filter布隆过滤器&Hbase 1 BloomFilter是什么? 布隆过滤器,以它的创始人Burton Howard Bloom的名字命名,首先明确一个点,它只 ...

Bloom Filter （布隆过滤器）

Bloom Filter （布隆过滤器）相关推荐

最新文章

热门文章