mysql布隆过滤器_布隆过滤器及其使用实例
1、什么是布隆过滤器
本质上布隆过滤器是一种数据结构,比较巧妙的概率型数据结构(probabilistic data structure),特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”。
相比于传统的 List、Set、Map 等数据结构,它更高效、占用空间更少,但是缺点是其返回的结果是概率性的,而不是确切的。
2、实现原理
HashMap 的问题
讲述布隆过滤器的原理之前,我们先思考一下,通常你判断某个元素是否存在用的是什么?应该蛮多人回答 HashMap 吧,确实可以将值映射到 HashMap 的 Key,然后可以在 O(1) 的时间复杂度内返回结果,效率奇高。但是 HashMap 的实现也有缺点,例如存储容量占比高,考虑到负载因子的存在,通常空间是不能被用满的,而一旦你的值很多例如上亿的时候,那 HashMap 占据的内存大小就变得很可观了。
还比如说你的数据集存储在远程服务器上,本地服务接受输入,而数据集非常大不可能一次性读进内存构建 HashMap 的时候,也会存在问题。
布隆过滤器数据结构
布隆过滤器是一个 bit 向量或者说 bit 数组,如图:
图1
如果我们要映射一个值到布隆过滤器中,我们需要使用多个不同的哈希函数生成多个哈希值,并对每个生成的哈希值指向的 bit 位置 1,例如针对值 “zhansan” 和三个不同的哈希函数分别生成了哈希值 1、4、7,则上图转变为:
图2
我们现在再存一个值 “lisi”,如果哈希函数返回 3、4、8 的话,则图为:
图3
值得注意的是,4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位,因此它被覆盖了。现在我们如果想查询 “wangwu” 这个值是否存在,哈希函数返回了 1、5、8三个值,结果我们发现 5 这个 bit 位上的值为 0,说明没有任何一个值映射到这个 bit 位上,因此我们可以很确定地说 “wangwu” 这个值不存在。而当我们需要查询 “zhansan” 这个值是否存在的话,那么哈希函数必然会返回 1、4、7,然后我们检查发现这三个 bit 位上的值均为 1,那么我们可以说 “zhansan” 存在了么?答案是不可以,只能是 “zhansan” 这个值可能存在。
这是为什么呢?答案跟简单,因为随着增加的值越来越多,被置为 1 的 bit 位也会越来越多,这样某个值 “taobao” 即使没有被存储过,但是万一哈希函数返回的三个 bit 位都被其他值置位了 1 ,那么程序还是会判断 “taobao” 这个值存在。
支持删除么
目前我们知道布隆过滤器可以支持 add 和 isExist 操作,那么 delete 操作可以么,答案是不可以,例如上图中的 bit 位 4 被两个值共同覆盖的话,一旦你删除其中一个值例如 “tencent” 而将其置位 0,那么下次判断另一个值例如 “baidu” 是否存在的话,会直接返回 false,而实际上你并没有删除它。
如何解决这个问题,答案是计数删除。但是计数删除需要存储一个数值,而不是原先的 bit 位,会增大占用的内存大小。这样的话,增加一个值就是将对应索引槽上存储的值加一,删除则是减一,判断是否存在则是看值是否大于0。
3、实例
使用布隆过滤器解决Redis缓存穿透问题
pom.xml
org.springframework.boot
spring-boot-starter-parent
2.0.1.RELEASE
org.projectlombok
lombok
org.springframework.boot
spring-boot-starter-web
org.springframework.boot
spring-boot-starter-data-redis
mysql
mysql-connector-java
org.mybatis.spring.boot
mybatis-spring-boot-starter
2.1.0
com.google.guava
guava
20.0
org.springframework.cloud
spring-cloud-dependencies
Finchley.M7
pom
import
application.yml
spring:
redis:
host: 127.0.0.1
port:6379
password: 123456
database:1
datasource:
driver-class-name: com.mysql.jdbc.Driver
url: jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf-8&useSSL=false
username: root
password: root
RedisTemplateUtils.java
@Component
public class RedisTemplateUtils {
@Resource
private RedisTemplateredisTemplate;
public void set(K k,V v){
set(k, v,null);
}
public void set(K k,V v, Long timeout){
redisTemplate.opsForValue().set(k, v);
if(timeout !=null){
redisTemplate.expire(k, timeout, TimeUnit.SECONDS);
}
}
public V get(K k){
return redisTemplate.opsForValue().get(k);
}
}
UserEntity.java
@Data
public class UserEntityimplements Serializable {
private int userId;
private StringuserName;
}
UserMapper.java
public interface UserMapper {
@Select("select userId, userName from user_t where userId=#{userId}")
UserEntity getUser(int userId);
@Select("select userId from user_t ")
List getUserIds();
}
BloomFilterInit.java 当Spring启动后初始化布隆过滤器
@Component
public class BloomFilterInit implements ApplicationRunner {
private BloomFilterbloomFilter;
@Autowired
private UserMapperuserMapper;
@Override
public void run(ApplicationArguments args)throws Exception {
List userIds =userMapper.getUserIds();
if (userIds.size() >0) {
// 0.01即错误率为1%
bloomFilter = BloomFilter.create(Funnels.integerFunnel(), userIds.size(),0.01);
for (int i =0; i < userIds.size(); i++) {
bloomFilter.put(userIds.get(i));
}
System.out.println("预热userId到布隆过滤器成功!");
}
}
public BloomFilter getIntegerBloomFilter() {
return bloomFilter;
}
}
UserController.java
@RestController
public class UserController {
@Autowired
private UserMapperuserMapper;
@Autowired
private RedisTemplateUtilsredisTemplateUtils;
@Autowired
private BloomFilterInitbloomFilterInit;
@RequestMapping("/getUser")
public UserEntity getUser(int userId){
if(!bloomFilterInit.getIntegerBloomFilter().mightContain(userId)){
System.out.println("该userId在布隆过滤器中不存在!");
return null;
}
UserEntity userEntity =redisTemplateUtils.get(userId +"");
if(userEntity !=null){
System.out.println("从Redis中返回数据!");
return userEntity;
}
System.out.println("从数据库中查询数据!");
UserEntity user =userMapper.getUser(userId);
if(user !=null){
System.out.println("将数据缓存到Redis中!");
redisTemplateUtils.set(userId+"", user);
}
return user;
}
}
App.java
@SpringBootApplication
@MapperScan("com.ttcv.bloom.mapper")
public class App {
public static void main(String[] args) {
SpringApplication.run(App.class);
}
}
mysql布隆过滤器_布隆过滤器及其使用实例相关推荐
- java 异常 过滤器_在过滤器Filter中抛出一个全局异常可以捕获的异常
1.创建自定义异常 public class TokenException extends RuntimeException { private static final long serialVer ...
- Vue过滤器_使用过滤器进行数据格式化操作---vue工作笔记0015
然后我们再来看vue中的过滤器, 说白了过滤器就是用来做格式化用的,这里举个例子,格式化时间的例子. 我们知道程序里的时间是,现在到1970.01.01这一天的时间的秒数的和. 上面是使用流程,然后我 ...
- python文件路径过滤器_自定义过滤器及标签
代码布局(自定义的代码,放在哪里) 1,某个app特有的 --app目标下,templateags 文件夹 --再到ttemplateags 文件夹下创建python模块(py文件) 2,定义复用 - ...
- mysql布隆过滤器源码_布隆过滤器(Bloom Filter)的原理和实现
什么情况下需要布隆过滤器? 先来看几个比较常见的例子 字处理软件中,需要检查一个英语单词是否拼写正确 在 FBI,一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里,一个网址是否被访问过 yahoo, ...
- 判断数组中某个元素除自身外是否和其他数据不同_布隆过滤器,我也是个处理过 10 亿数据的人...
❝ 文章收录在 GitHub JavaKeeper ,N线互联网开发必备技能兵器谱 什么是 BloomFilter 布隆过滤器(英语:Bloom Filter)是 1970 年由布隆提出的.它实际上是 ...
- filter过滤器_不了解布隆过滤器?一文给你整的明明白白!
海量数据处理以及缓存穿透这两个场景让我认识了 布隆过滤器 ,我查阅了一些资料来了解它,但是很多现成资料并不满足我的需求,所以就决定自己总结一篇关于布隆过滤器的文章.希望通过这篇文章让更多人了解布隆过滤 ...
- filter过滤器_不了解布隆过滤器?一文给你整的明明白白
文章来源:https://mp.weixin.qq.com/s/_qsHjDemXUNObB0h0XHCkQ 作者:SnailClimb 海量数据处理以及缓存穿透这两个场景让我认识了布隆过滤器 ,我查 ...
- 为什么我加了过滤器然后就登不进去了_布隆过滤器过时了,未来属于布谷鸟过滤器?...
为了解决布隆过滤器不能删除元素的问题,布谷鸟过滤器横空出世.论文<Cuckoo Filter:Better Than Bloom>作者将布谷鸟过滤器和布隆过滤器进行了深入的对比.相比布谷鸟 ...
- 清空缓存的命令_布隆过滤器应用——解决Redis缓存穿透问题
1. 布隆过滤器 简要介绍布隆过滤器的概念和特点,详细知识请参考几篇参考文献或其它文章. 1.1 概念 简单点说,布隆过滤器本质是一个位数组. 当一个元素加入过滤器时,使用多个hash函数对元素求值, ...
最新文章
- Codeforces Round #403 (Div. 1, based on Technocup 2017 Finals)
- iOS UITableView的使用大全-备用
- 用webBrowser打开网页出现脚本错误怎么办
- 小米MIX 4 Pro“老底”被掀了,看完很激动!
- 6Jordan标准型的变换与应用
- 高等代数——大学高等代数课程创新教材(丘维声)——2.4笔记+习题
- EasyUI框架分页实现
- ubuntu20 隐藏 顶部_ubuntu gnome桌面隐藏顶栏
- Linux自学之MPD
- MQTT测试工具推荐
- 个人定制ESXi安装程序(集成三方网卡驱动程序)
- 西游记中天庭与西天的关系
- linux自动登录帐号密码,设定Linux自动登陆
- 加州理工学院计算机研究生申请条件,加州理工学院研究生申请条件
- 第一次用 PHPUnit 写测试就上手(上)
- 测试员,面对自己30岁后的下坡路,我们该何去何从?
- VUE解决IE不能用的方法
- 使用Windows自带的工具计算文件的 MD5 SHA1 SHA256
- 二十一世纪“新元宇宙”奇科幻小说原创作品系列连载【第一部】第二回 登峰时刻
- 命令行退出python方法