springboot整合redis实现HyperLogLog统计文章浏览量使用过期策略完成数据库同步

springboot整合redis实现HyperLogLog统计文章浏览量&&使用过期策略完成数据库同步

本文目录

springboot整合redis实现HyperLogLog统计文章浏览量&&使用过期策略完成数据库同步
- 1、为什么选择Redis中的Hyperloglog存储
- 2、什么是基数
- 3、实战中使用HyperLogLog统计文章浏览量
- - 1、搭建环境
  - 2、核心代码
  - - 1、发送消息
    - 2、消息接受者
    - 3、消息处理
    - 4、监听key过期并写入数据库
    - - 创建监听类
      - 定时任务

1、为什么选择Redis中的Hyperloglog存储

Redis HyperLogLog是用来做基数统计的算法，HyperLogLog的优点是，在输入元素的数量或者体积非常大时，计算基数所需的空间总是固定的，并且是很小的

在Redis里面，每个HyperLogLog键只需花费12KB内存，就可以计算出接近2^64个不同元素的基数，这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比；比如说文章浏览量的统计，我们需要将文章的唯一标识主键作为key，将用户访问ip作为value，而且为防止同一用户同一时刻多次访问该文章，我们可以使用redis中的set做到去重，在redis的中结果会是这样的

虽然我们可以通过redis key过期策略定时将过期的key数据写入数据库中，但是在短时间内访问量大的需求下存储这些ip地址仍需要耗费大量的内存

但是，如果使用HyperLogLog完全不用担心这个问题，因为HyperLogLog只会根据输入元素来计算基数，而不会存储输入元素本身，所以HyperLogLog是不能够拿到key返回各个元素的值的，不过这刚好符合我们文章浏览量统计的场景：ip去重（防止同一用户在一段时间间隔内频繁访问同一篇文章），数据量再大也不会耗费多余的内存（12KB）

HyperLogLog使用起来是这个样子的

通过可视化界面查看保存的value可以发现value并没有存储ip地址，也就意味着无法通过key去获取ip地址

HyperLogLog采用的是基数统计，那什么是基数呢

2、什么是基数

比如数据集 {1, 3, 5, 7, 5, 7, 8}，那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。基数估计就是在误差可接受的范围内，快速计算基数。

3、实战中使用HyperLogLog统计文章浏览量

1、搭建环境

添加依赖：

<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId>
</dependency><!--工具类  用来做JSON与实体间的相互转换-->
<dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.7.17</version>
</dependency>

配置：

spring:redis:host: 192.168.137.7

2、核心代码

既然是统计文章浏览量，那么应该是在展示文章详情的时候去给文章浏览量+1，而为了不影响原来查询文章详情的响应速度，我们采用rabbitmq做异步，因mq不是本文的介绍重点，有需要的小伙伴可以移步
SpringBoot整合RabbitMQ 5种模式的注解绑定

1、发送消息

下面的代码中，需要传入HttpServletRequest去获取请求的ip地址，还有文章的id，将这两个参数封装成map并转化为JSON字符串格式传递

/*** 异步处理文章浏览量自增** @param request* @param article*/private void handleArticlePageViewIncrement(HttpServletRequest request, Article article) {// 封装map并转化为Json格式HashMap<String, Object> map = new HashMap<>();String ipAddr = IpUtils.getIpAddr(request);// 此处的key应该换成静态常量才比较规范map.put("ip", ipAddr);map.put("articleid", article.getId());// mq采用的是direct模式rabbitTemplate.convertAndSend(ARTICLE_EXCHANGE, ARTICLE_PAGEVIEW_ROUTING, JSONUtil.toJsonStr(map));}

2、消息接受者

添加监听浏览量自增的消息接受者

/*** 监听文章浏览量自增* @param mapStr*/
@Override
@RabbitListener(bindings = @QueueBinding(value = @Queue(name = ARTICLE_PAGEVIEW_QUEUE),exchange = @Exchange(name = ARTICLE_EXCHANGE, type = ExchangeTypes.DIRECT),key = ARTICLE_PAGEVIEW_ROUTING
))
public void addArticlePageview(String mapStr) {redisService.articlePageviewIncrement(mapStr);
}

3、消息处理

将拿去到的JSON字符串转换为Map实体

在下面代码中重复添加了2次缓存，这是为了监听key过期时还能过拿取到数据

/*** 文章浏览量自增** @param mapStr*/@Overridepublic void articlePageviewIncrement(String mapStr) {Map map = JSONUtil.toBean(mapStr, Map.class);String ipAddr = map.get("ip").toString();String articleid = map.get("articleid").toString();if (ObjectUtil.hasEmpty(ipAddr, articleid)) {log.error("ip地址或者文章id为空！");return;}String key = ARTICLE_ID_KEY + articleid;String key_copy = PREFIX + ARTICLE_ID_KEY + articleid;// 添加2次缓存Long status = stringRedisTemplate.opsForHyperLogLog().add(key, ipAddr);// 设置过期时间stringRedisTemplate.expire(key, 1, TimeUnit.HOURS);stringRedisTemplate.opsForHyperLogLog().add(key_copy, ipAddr);if (status == 0) {log.info("该ip地址：{}重复访问文章id:{}", ipAddr, articleid);}}

4、监听key过期并写入数据库

修改redis.conf开启key过期监听 notify-keyspace-events " " 修改为 notify-keyspace-events Ex 这样redis就支持过期key的监听了

创建监听类

@Component
public class KeyExpiredListener extends KeyExpirationEventMessageListener {@Autowiredprivate StringRedisTemplate stringRedisTemplate;@Autowiredprivate ArticleService articleService;public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {super(listenerContainer);}@Overridepublic void onMessage(Message message, byte[] pattern) {String expirekey = message.toString();Long size = stringRedisTemplate.opsForHyperLogLog().size(PREFIX + expirekey);stringRedisTemplate.delete(PREFIX + expirekey);if (expirekey.startsWith(PREFIX + expirekey)) {String articleid = expirekey.substring(ARTICLE_ID_KEY.length());articleService.updateArticlePageview(articleid, size);}}
}

定时任务

在监听类中对过期的key的数据写入数据库，为了确保数据的稳定性，防止有key不断被延长过期时间，选择在每天的早上2点将数据写入数据库

/*** 定时更新文章浏览量*/@Override@Scheduled(cron = "0 0 2 * * ?") // 每天2:00更新public void scheduledUpdatePageview() {log.error("检查是否更新文章");Set<String> keys = stringRedisTemplate.keys(PREFIX + ARTICLE_ID_KEY + "*");for (String key : keys) {// 获取文章idString articleid = key.substring(PREFIX.length() + ARTICLE_ID_KEY.length());log.error("更新文章：{}", articleid);// 获取文章浏览量Long size = stringRedisTemplate.opsForHyperLogLog().size(key);// 更新成功删除keyif (articleService.updateArticlePageview(articleid, size)) {stringRedisTemplate.delete(key);stringRedisTemplate.delete(key.substring(PREFIX.length()));}}}

如果你对本文有什么疑问，欢迎评论留言