如何用redis做活跃用户统计-HyperLoglog

原文在这里：如何用redis做活跃用户统计-HyperLoglog

网站经常有这样的需求：统计日活用户数，有哪些实现方式呢？

第一种做法：用redis的set集合。
用户登录以后，把用户id添加到redis的set中，set会自动进行去重，类似于这样：

127.0.0.1:6379> sadd users_2019_06_17 user1
(integer) 1
127.0.0.1:6379> sadd users_2019_06_17 user2
(integer) 1
127.0.0.1:6379> sadd users_2019_06_17 user3
(integer) 1

很显然，只需要一条scard命令：

127.0.0.1:6379> scard users_2019_06_17
(integer) 3

可以看出来，2019年6月17号的用户数是3个。
很简单，但是集合只适用于用户数比较少的场合，假如用户有100万，set存储100万个id号，如果一个id号占32个字节，总共就是差不多32M，一个月就是960M 差不多一个G了！

第二种做法：用Bitmap。
我们存放100万个id号需要100万个bit位，也就是100万/8 = 125K字节，直接用以id号和100万取余，余数作为bit的索引：

127.0.0.1:6379> setbit login_2019_06_17  10000 1
(integer) 0
127.0.0.1:6379> setbit login_2019_06_17  1024 1
(integer) 0
127.0.0.1:6379> setbit login_2019_06_17  238 1
(integer) 0
127.0.0.1:6379> setbit login_2019_06_17  3434 1
(integer) 0

这时候同样，只要一条bitcount就能查出来用户数：

127.0.0.1:6379> bitcount login_2019_06_17
(integer) 4

此时存储100万个用户，只需要125K个字节，一个月才4M。
还有没有占存储空间更少的办法？

第三种办法：用redis的HyperLogLog

Redis HyperLogLog 是用来做基数统计的算法，HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。
在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。
但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。
原理很复杂就不说了，只说下用法：

127.0.0.1:6379> pfadd login.2019_06_17 user1
(integer) 1
127.0.0.1:6379>  pfadd login.2019_06_17 user2
(integer) 1
127.0.0.1:6379>  pfadd login.2019_06_17 user3
(integer) 1
127.0.0.1:6379>  pfadd login.2019_06_17 user4
(integer) 1
127.0.0.1:6379> pfcount login.2019_06_17
(integer) 4

此时存储100万个独立用户只需要15K左右，一个月才480K左右！
需要注意的是HyperLogLog的统计结果并不是一个精确的值，误差在0.81%左右，但是对于统计用户数这种场景来说足够了。
如果感觉有用，欢迎扫码加关注【爪哇优太儿】

如何用redis做活跃用户统计-HyperLoglog相关推荐

Springboot+redis 做实时在线人数统计
Springboot+redis 做实时在线人数统计介绍实现介绍利用redis 有序集合实现. Redis 有序集合和集合一样也是 string 类型元素的集合,且不允许重复的成员. 不同的是 ...
PHP通过Redis做uv/pv统计
/*** php通过redis做uv/pv统计*/ $redis = new redis(); $dates = date("Y-m-d"); //统计uv 把ip添加入集合,假如 ...
数据统计之日活跃用户统计
日活跃用户统计接口分析请求方式:GET /meiduo_admin/statistical/day_active/ # 日活跃用户统计url(r'^statistical/day_active/$ ...
【django项目后台开发】数据统计——用户总数统计、日增用户数统计、日活跃用户统计（3）
一.用户总数统计 1.后端接⼝设计请求⽅式: GET /statistics/total_count/ 请求参数: 通过请求头传递jwt token数据. 返回数据: JSON { "co ...
SparkCore项目实战需求一Top10热门品类需求二Top10热门品类下每个品类的Top10活跃用户统计需求三计算页面单跳转换率
目录数据格式简介需求一:Top10热门品类(普通算子实现) 优化:需求一(使用ReduceByKey进行预聚合) 优化:需求一(采用累加器,避免shuffle过程) 需求二:Top10热门品类下每 ...
redis位图法统计活跃用户+统计3天的连续登录用户案例
Setbit 场景: 1亿个用户, 每个用户登陆/做任意操作 ,记为今天活跃,否则记为不活跃用法周一:1001 0001 1001 0101 1011 0101 周二:1101 0001 101 ...
我是如何用 Redis 做实时订阅推送的？
前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的. 先说一下领劵中心的项目吧,这个项目就类似京东app的领劵中心,当然图是截取京东的,公司的就不截了... 其中有一个功能叫做领 ...
如何用 Redis 做实时订阅推送的？
作者:浮云骑士LIN 链接:https://www.cnblogs.com/linlinismine/p/9214299.html 前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落 ...
领券中心项目，我是如何用 Redis 做实时订阅推送的？
作者:浮云骑士LIN 出处:cnblogs.com/linlinismine/p/9214299.html 前阵子开发了公司领劵中心的项目,这个项目是以redis作为关键技术落地的. 先说一下领劵中心 ...

如何用redis做活跃用户统计-HyperLoglog

如何用redis做活跃用户统计-HyperLoglog相关推荐

最新文章

热门文章