Redis应用-HyperLogLog

2024-05-24 08:30:41

如果你要统计网站的PV，你可以使用Redis计数器就好了，每来一个请求，调用一次incrby即可。但是如果要统计UV就没那么简单呢，它需要去重，当然你肯定想到了Redis中的去重的Set集合，当一个请求过来使用sadd添加用户ID,通过scard取出集合的大小。但是如果上千万的UV，使用集合来统计，就非常浪费空间了。而Redis提供的HyperLogLog数据结构正是来解决这类统计问题的，当然在数据量很大的情况下，他会有一定的误差。

HyperLogLog算法是一种非常巧妙的近似统计海量去重元素数量的算法。它内部维护了 16384 个桶（bucket）来记录各自桶的元素数量。当一个元素到来时，它会散列到其中一个桶，以一定的概率影响这个桶的计数值。因为是概率算法，所以单个桶的计数值并不准确，但是将所有的桶计数值进行调合均值累加起来，结果就会非常接近真实的计数值。

具体的原理解析可参考探索HyperLogLog算法

使用方法

HyperLogLog 使用比较简单，主要提供提供了两个指令

pfadd 增加计数
pfcount 获取计数

HyperLogLog还提供了第三个指令 pfmerge，用于将多个 pf 计数值累加在一起形成一个新的 pf 值。

比如在网站中我们有两个内容差不多的页面，运营需要将两个页面的数据进行合并。其中页面的 UV 访问量也需要合并，这时候就可以使用pfmerge。

pf 的内存只有12k

HyperLogLog 实现中用到的是 16384 个桶，也就是 2^14，每个桶的 maxbits 需要 6 个 bits 来存储，最大可以表示 maxbits=63，于是总共占用内存就是2^14 * 6 / 8 = 12k字节

转载于:https://juejin.im/post/5cff0afff265da1bd522c4c1

Redis应用-HyperLogLog相关推荐

python 操作redis之——HyperLogLog （八）
#coding:utf8 import redis # python 操作redis之--HyperLogLog r =redis.Redis(host="33.23.724.12190&q ...
redis数据结构--hyperloglog
redis数据结构--hyperloglog 1.业务背景介绍现存实现手法以及痛点公司广告落地页项目的一个统计pv,uv的需求第一版实现方案业务快速增长面临的痛点 2.业务场景调研,bitma ...
Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解
文章目录 Redis(十)--HyperLogLog 基数统计和 Bitmap位图场景详解 1.HyperLogLog 基数统计 2.Bitmap位图场景详解 Redis(十)--HyperLogLo ...
springboot整合redis实现HyperLogLog统计文章浏览量使用过期策略完成数据库同步
springboot整合redis实现HyperLogLog统计文章浏览量&&使用过期策略完成数据库同步本文目录 springboot整合redis实现HyperLogLog统计文章 ...
redis 的 HyperLogLog
Redis 在 2.8.9 版本添加了 HyperLogLog 结构. Redis HyperLogLog 是用来做基数统计的算法 HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大 ...
redis的HyperLogLog与布隆过滤器
HyperLogLog与布隆过滤器都是针对大数据统计存储应用场景下的知名算法. HyperLogLog是在大数据量的情况下关于数据基数的空间复杂优化实现,而布隆过滤是在大数据量情况下关于检索一个元素是 ...
redis的hyperloglog用法
Hyperloglog 什么事基数 A{1,3,5,7,8,9} B{1,3,5,7,8} 基数:不重复的元素,可以接受误差. Redis Hyperloglog基数统计的算法,网页的UV(一个人方 ...
redis用HyperLogLog计算UV
UV:unique visitor,独立访客,数据去重 DV:distinct value,去重统计,如上面的UV. 用redis的set去重,用户多时,比如微信月活10亿,就会占用很多内存. 用Hy ...
怎么往integer型数组添加数据_用户日活月活怎么统计 - Redis HyperLogLog 详解
HyperLogLog 是一种概率数据结构,用来估算数据的基数.数据集可以是网站访客的 IP 地址,E-mail 邮箱或者用户 ID. 基数就是指一个集合中不同值的数目,比如 a, b, c, d 的 ...

最新文章

热门文章