1. Bitmap 是什么

Bitmap(也称为位数组或者位向量等)是一种实现对位的操作的'数据结构',在数据结构加引号主要因为:

  • Bitmap 本身不是一种数据结构,底层实际上是字符串,可以借助字符串进行位操作。

  • Bitmap 单独提供了一套命令,所以与使用字符串的方法不太相同。可以把 Bitmaps 想象成一个以位为单位的数组,数组的每个单元只能存储 0 和 1,数组的下标在 Bitmap 中叫做偏移量 offset。

2. 占用存储空间

如上我们知道 Bitmap 本身不是一种数据结构,底层实际上使用字符串来存储。由于 Redis 中字符串的最大长度是 512 MB字节,所以 BitMap 的偏移量 offset 值也是有上限的,其最大值是:8 * 1024 * 1024 * 512 = 2^32。由于 C 语言中字符串的末尾都要存储一位分隔符,所以实际上 BitMap 的偏移量 offset 值上限是:2^32-1。Bitmap 实际占用存储空间取决于 BitMap 偏移量 offset 的最大值,占用字节数可以用 (max_offset / 8) + 1 公式来计算或者直接借助底层字符串函数 strlen 来计算:

127.0.0.1:6379> setbit login:20220515 0 1
(integer) 0
# (0 / 8) + 1 = 1
127.0.0.1:6379> strlen login:20220515
(integer) 1
127.0.0.1:6379> setbit login:20220515 8 1
(integer) 0
# (8 / 8) + 1 = 2
127.0.0.1:6379> strlen login:20220515
(integer) 2

需要注意的是,在第一次初始化 Bitmap 时,假如偏移量 offset 非常大,由于需要分配所需要的内存,整个初始化过程执行会比较慢,可能会造成 Redis 的阻塞。在 2010 款 MacBook Pro 上,设置第 2^32-1 位,由于需要分配 512MB 内存,所以大约需要 300 毫秒;设置第 2^30-1 位(128 MB)大约需要 80 毫秒;设置第 2^28 -1 位(32MB)需要约 30 毫秒;设置第 2^26 -1(8MB)需要约 8 毫秒。一旦完成第一次分配,随后对同一 key 再设置将不会产生分配开销。

3. 命令

下面示例中我们将登录 App 的用户存放在 Bitmap 中,登录的用户记做 1,没有登录的用户记做 0,用偏移量作为用户的id。

3.1 SETBIT

最早可用版本:2.2.0。时间复杂度:O(1)。

语法格式:

SETBIT key offset value

SETBIT 用来设置 key 对应第 offset 位的值(offset 从 0 开始算),可以设置为 0 或者 1。当指定的 KEY 不存在时,会自动生成一个新的字符串值。字符串会进行扩展以确保可以将 value 保存在指定的偏移量 offset 上。当字符串值进行扩展时,空白位置用 0 来填充。需要注意的是 offset 需要大于或等于 0,小于 2 的 32 次方。

假设现在有 10 个用户,用户id为 0、1、5、9 的 4 个用户在 20220514 进行了登录,那么当前 Bitmap 初始化结果如下图所示:

具体操作过程如下,login:20220514 代表 20220514 这天所有登录用户的 Bitmap:

127.0.0.1:6379> setbit login:20220514 0 1
(integer) 0
127.0.0.1:6379> setbit login:20220514 1 1
(integer) 0
127.0.0.1:6379> setbit login:20220514 5 1
(integer) 0
127.0.0.1:6379> setbit login:20220514 9 1
(integer) 0

假设用户 uid 为 15 的用户也登录了 App,那么 Bitmap 的结构变成了如下图所示,第 10 位到第 14 位都用 0 填充,第 15 位被置为 1:

很多应用的用户id以一个指定数字(例如 150000000000)开头,直接将用户id和 Bitmap 的偏移量对应势必会造成一定的浪费,通常的做法是每次做 setbit 操作时将用户id减去这个指定数字。在第一次初始化 Bitmap 时,假如偏移量非常大,那么整个初始化过程执行会比较慢,可能会造成 Redis 的阻塞。

3.2 GETBIT

最早可用版本:2.2.0。时间复杂度:O(1)。

语法格式:

GETBIT key offset

获取 key 对应第 offset 位的值(offset 从 0 开始算)。当 offset 超过字符串长度时,字符串假定为一个 0 位的连续空间。当指定的 key 不存在时,假定为一个空字符串,offset 肯定是超出字符串长度范围,因此该值也被假定为 0 位的连续空间,都会返回 0。

下面获取用户id为 4 的用户是否在 20220514 这天登录过,返回 0 说明没有访问过:

127.0.0.1:6379> getbit login:20220514 4
(integer) 0

下面获取用户id为 5 的用户是否在 20220514 这天登录过,返回 1 说明访问过:

127.0.0.1:6379> getbit login:20220514 5
(integer) 1

下面获取用户id为 20 的用户是否在 20220514 这天登录过,因为 offset 20 根本就不存在,所以返回结果也是 0:

127.0.0.1:6379> getbit login:20220514 20
(integer) 1

3.3 BITCOUNT

最早可用版本:2.6.0。时间复杂度:O(N)。

语法格式:

BITCOUNT key [ start end [ BYTE | BIT]]

用来计算指定 key 对应字符串中,被设置为 1 的 bit 位的数量。一般情况下,字符串中所有 bit 位都会参与计数,我们可以通过 start 或 end 参数来指定一定范围内被设置为 1 的 bit 位的数量。start 和 end 参数的设置和 GETRANGE 命令类似,都可以使用负数:比如 -1 表示最后一个位,而 -2 表示倒数第二个位等。

从 Redis 7.0.0 开始支持 BYTE 或者 BIT 选项

下面计算 20220514 这天所有登录用户数量:

127.0.0.1:6379> bitcount login:20220514
(integer) 5

3.4 BITOP

最早可用版本:2.6.0。时间复杂度:O(N)。

语法格式:

BITOP operation destkey key [key ...]

BITOP 是一个复合操作,支持在多个 key 之间执行按位运算并将结果存储在 destkey 指定的 key 中。BITOP 命令支持四种按位运算:AND(交集)、OR(并集)、XOR(异或) 和 NOT(非):

BITOP AND destkey srckey1 srckey2 srckey3 ... srckeyN
BITOP OR destkey srckey1 srckey2 srckey3 ... srckeyN
BITOP XOR destkey srckey1 srckey2 srckey3 ... srckeyN
BITOP NOT destkey srckey

如上所见,NOT 很特殊,因为它只需要一个输入 key,因为它执行位反转,因此它仅作为一元运算符才有意义。

假设 20220513 登录 App 的用户id为 1、3、5、7,如下图所示:

如果想算出 20220513 和 20220514 两天都登录过的用户数量,如下图所示:

可以使用 AND 求交集,具体命令如下:

127.0.0.1:6379> bitop and login:20220513:and:20220514 login:20220513 login:20220514
(integer) 2
127.0.0.1:6379> bitcount login:20220513:and:20220514
(integer) 2
127.0.0.1:6379> getbit login:20220513:and:20220514 1
(integer) 1
127.0.0.1:6379> getbit login:20220513:and:20220514 5
(integer) 1

如果想算出 20220513 和 20220514 任意一天登录过 App 的用户数量:

可以使用 OR 求并集,具体命令如下:

127.0.0.1:6379> bitop or login:20220513:or:20220514 login:20220513 login:20220514
(integer) 2
127.0.0.1:6379> bitcount login:20220513:or:20220514
(integer) 7
127.0.0.1:6379> getbit login:20220513:or:20220514 0
(integer) 1
127.0.0.1:6379> getbit login:20220513:or:20220514 1
(integer) 1

3.5 BITPOS

最早可用版本:2.8.7。时间复杂度:O(N)。

语法格式:

BITPOS key bit [ start [ end [ BYTE | BIT]]]

用来计算指定 key 对应字符串中,第一位为 1 或者 0 的 offset 位置。除此之外,BITPOS 也有两个选项 start 和 end,跟 BITCOUNT 一样。

BYTE、BIT 这两个选项从 7.0.0 版本开始才能使用。

下面计算 20220514 登录 App 的最小用户id:

127.0.0.1:6379> bitpos login:20220513 1
(integer) 1

Redis 如何使用 Bitmap相关推荐

  1. redis 用setbit(bitmap)统计活跃用户

    getspool.com的重要统计数据是实时计算的.Redis的bitmap让我们可以实时的进行类似的统计,并且极其节省空间.在模拟1亿2千8百万用户的模拟环境下,在一台MacBookPro上,典型的 ...

  2. 模拟redis位图操作bitmap 统计日活跃用户数

    模拟redis位图操作bitmap 统计日活跃用户数 假设一年有100天以上登录过,则为活跃用户 import redis#连接redis r =redis.Redis(host='redis数据库服 ...

  3. 03 redis新类型bitmap/hyperloglgo/GEO

    亿级系统中常见的四种统计 聚合统计 统计多个集合元素的聚合结果,就是前面讲解过的交差并等集合统计 交并差集和聚合函数的应用 排序统计 抖音视频最新评论留言的场景,请你设计一个展现列表.考察你的数据结构 ...

  4. redis位图法bitmap统计活跃用户

    位图法 位图(bitmap),就是用位(bit)来表示存放的某种状态,如开关,有无.在redis中,字符串是以二进制的形式存储的,因此位图在redis中并不是一种数据类型,而是一种字符串的表现形式.位 ...

  5. Redis 04_位图bitmap

    位图bitmap    [字节数组] 位图不是真正的数据类型,它是定义在字符串类型中 一个字符串类型的值最多能存储512M字节的内容 位上限:2^(9+10+10+3)=2^32b  --命令 设置某 ...

  6. 十六、Redis三种特殊类型之三Bitmap

    一.BitMap是什么 通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身,value对应0或1,我们知道8个bit可以组成一个Byte,所以bitmap本身会极大的节省储存 ...

  7. Redis中bitmap的妙用

    在Redis中我们经常用到set,get等命令,细心的你有没有发现,还有几个相似的命令叫setbit,getbit,它们是用来干嘛的? BitMap是什么 就是通过一个bit位来表示某个元素对应的值或 ...

  8. Redis中bitmap的妙用 1

    https://segmentfault.com/a/1190000008188655 BitMap是什么 就是通过一个bit位来表示某个元素对应的值或者状态,其中的key就是对应元素本身.我们知道8 ...

  9. Redis BitMap适应场景

    https://blog.csdn.net/paul_wei2008/article/details/53366588 Bitmap以及Redis Bitmaps快速入门(Crash Course o ...

  10. Redis 中 BitMap 的使用场景

    BitMap# BitMap 原本的含义是用一个比特位来映射某个元素的状态.由于一个比特位只能表示 0 和 1 两种状态,所以 BitMap 能映射的状态有限,但是使用比特位的优势是能大量的节省内存空 ...

最新文章

  1. R可视化使用ggplot2将坐标轴设置为对数坐标轴(Log Scale)
  2. PyQt4基本布局常用方法之addSpacing
  3. 【三国志战略版】拆解与分析
  4. mysql 位操作支持
  5. 产生式是蕴含式_独栋别墅~下沉式庭院设计
  6. netlify 部署vue_如何使用Netlify构建和部署网站-全面的教程
  7. Orleans学习总结(一)--入门认识
  8. python函数定义与参数_Python函数的定义方式与函数参数问题实例分析
  9. linux mk文件6,linux_2.6.30.4_Makefile_3--Makefile学习笔记
  10. 计算机基础高一知识点,计算机基础全部知识点_.doc
  11. php怎么画五星红旗,PHP_php基于GD库画五星红旗的方法,本文实例讲述了php基于GD库画 - phpStudy...
  12. 9个offer,12家公司,35场面试,从微软到谷歌
  13. 1116: 删除元素 C语言
  14. [dlang](一)利用dub搭建vibe.d,hibernated,mysql开发环境
  15. 关于自动布局(Autolayout)
  16. jcp jsr_JCP EC 2011年特别选举候选人宣布
  17. 前端培训班学习哪家比较好
  18. Java 判断一个点是否在一个三角形内
  19. 微信小程序-学生登录后跳转-显示教师页面信息
  20. 挑战深度学习 《深度森林:探索深度神经网络以外的方法》

热门文章

  1. VIJOS 1547 逆转,然后再见
  2. 计算机主板平面图,电脑主板图纸
  3. Echarts地图,省市区县,行政代码及地图坐标
  4. Total Commander(转.from 善用佳软/TC学堂 - xbeta,2007-2009 )
  5. jade模板引擎入门教程
  6. java解析魔兽争霸3录像_GitHub - wucao/jw3gparser: Java Warcraft Ⅲ Replay Parser(Java解析《魔兽争霸3》游戏录像工具)...
  7. Arduino(MEGA2560)最小系统电路设计以及固件(bootloader)烧录方法(free)
  8. 锐起无盘服务器客户机不同步,使用批处理判断锐起无盘客户机是否为超级用户状态...
  9. 24X24 黑体简体中文点阵字库
  10. 【超级账本】Fabric 层次结构以及核心模块的介绍(二)