Redis入门(3): 数据新类型（BitmapsHyperLogLog，GeoSpatial），Jredis，springboot与redis的整合

Redis新数据类型

Bitmaps

简介

现代计算机用二进制（位）作为信息的基础单位， 1个字节等于8位，例如“abc”字符串是由3个字节组成，但实际在计算机存储时将其用二进制表示， “abc”分别对应的ASCII码分别是 97、 98、 99，对应的二进制分别是01100001、 01100010和01100011，如下图

合理地使用操作位能够有效地提高内存使用率和开发效率。Redis提供了Bitmaps这个“数据类型”可以实现对位的操作：

（1） Bitmaps 本身不是一种数据类型，实际上它就是字符串（key-value）， 但是它可以对字符串的位进行操作。
（2） Bitmaps单独提供了一套命令，所以在Redis中使用Bitmaps和使用字符串的方法不太相同。可以把Bitmaps想象成一个以位为单位的数组，数组的每个单元只能存储0和1，数组的下标在Bitmaps中叫做偏移量。

命令

1、setbit

格式 setbit<key><offset><value> : 设置Bitmaps中某个偏移量的值（0或1）
*offset:偏移量从0开始
实例
- 每个独立用户是否访问过网站存放在Bitmaps中，将访问的用户记做1，没有访问的用户记做0，用偏移量作为用户的id。
- 设置键的第offset个位的值（从0算起），假设现在有20个用户，userid=1， 6， 11， 15， 19的用户对网站进行了访问，那么当前Bitmaps初始化结果如图
可以使用 unique:users: 20201106 来作为 Bitmaps 的key值，代表 2020-11-06 这天的独立访问用户的 Bitmaps

注：

很多应用的用户id以一个指定数字（例如10000）开头，直接将用户id和Bitmaps的偏移量对应势必会造成一定的浪费，通常的做法是每次做setbit操作时将用户id减去这个指定数字。
在第一次初始化Bitmaps时，假如偏移量非常大，那么整个初始化过程执行会比较慢，可能会造成Redis的阻塞。

2、getbit

格式getbit<key><offset> 获取Bitmaps中某个偏移量的值
获取键的第offset位的值（从0开始算）
实例
获取id=8的用户是否在2020-11-06这天访问过，返回0说明没有访问过：

注：因为100根本不存在，所以也是返回0

3、bitcount

统计字符串被设置为 1 的 bit 数。
一般情况下，给定的整个字符串都会被进行计数，通过指定额外的 start 或 end 参数，可以让计数只在特定的位上进行。
start 和 end 参数的设置，都可以使用负数值：比如 -1 表示最后一个位，而 -2 表示倒数第二个位，start、end 是指bit组的字节的下标数，二者皆包含。
格式
bitcount<key>[start end] 统计字符串从start字节到end字节比特值为1的数量
实例
计算 2022-11-06 这天的独立访问用户数量

start 和 end 代表起始和结束字节数，下面操作计算用户 id在第1个字节到第3个字节之间的独立访问用户数:

上面这三个用户，对应的用户id是11， 15， 19。（其他用户都为未访问过）用户的 id=0和3是在第 0个字节中。
下标详解：
- K1=【01000001 01000000 00000000 00100001】，对应下标为 【0，1，2，3】
- bitcount K1 1 2 ：统计下标1、2字节组中bit=1的个数，即 01000000 00000000 所以 count 为 1
- bitcount K1 1 3 ：统计下标1、2，3字节组中bit=1的个数，即01000000 00000000 00100001 ，所以count=3
- bitcount K1 0 -2 ：统计下标0到下标倒数第2，字节组0,1,2中bit=1的个数，即01000001 01000000 00000000,所以count=3。
注意：redis的setbit设置或清除的是bit位置，而bitcount计算的是byte位置。

4、bitop

格式
```
 bitop  and(or/not/xor) <destkey> [key…]
```
bitop是一个复合操作，它可以做多个Bitmaps的and（交集）、 or（并集）、 not（非）、 xor（异或）操作并将结果保存在destkey中。

实例
2020-11-04 日访问网站的userid=1,2,5,9。

setbit unique:users:20201104 1 1
setbit unique:users:20201104 2 1
setbit unique:users:20201104 5 1
setbit unique:users:20201104 9 1

2020-11-03 日访问网站的userid=0,1,4,9。

setbit unique:users:20201103 0 1
setbit unique:users:20201103 1 1
setbit unique:users:20201103 4 1
setbit unique:users:20201103 9 1

计算出两天都访问过网站的用户数量

bitop and unique:users:and:20201104_03#指定结果存储的key
unique:users:20201103 unique:users:20201104# 指定被操作数

结果如下：

当然，也可以计算出任意一天都访问过网站的用户数量（例如月活跃就是类似这种），这可以使用 or求并集。

Bitmaps与set对比

假设网站有1亿用户，每天独立访问的用户有5千万，如果每天用集合类型和 Bitmaps分别存储活跃用户可以得到如下的内容：
很明显，这种情况下使用Bitmaps能节省很多的内存空间，尤其是随着时间推移节省的内存还是非常可观的set和Bitmaps存储独立用户空间对比
但Bitmaps并不是万金油，假如该网站每天的独立访问用户很少，例如只有10万（大量的僵尸用户），那么两者的对比如下表所示，很显然，这时候使用Bitmaps就不太合适了，因为基本上大部分位都是0。

HyperLogLog

简介

背景

在工作当中，我们经常会遇到与统计相关的功能需求，比如统计网站PV（PageView）页面访问量,可以使用Redis的incr（自增）、incrby轻松实现。
但像UV（UniqueVisitor，独立访客）、独立IP数、搜索记录数等需要去重和计数的问题如何解决？这种求集合中不重复元素个数的问题称为基数问题。
解决基数问题有很多种方案：
- （1）数据存储在MySQL表中，使用 distinct count 计算不重复个数
- （2）使用Redis提供的 hash、set、bitmaps 等数据结构来处理
以上的方案结果精确，但随着数据不断增加，导致占用空间越来越大，对于非常大的数据集是不切实际的。
能否能够降低一定的精度来平衡存储空间？Redis推出了 HyperLogLog

概念

HyperLogLog 是用来做基数统计的算法
底层是桶排序的思想，内部维护了16384个桶来记录各自桶的元素数量，当一个元素过来，它会散列到其中一个桶。
HyperLogLog 的优点是，在输入元素的数量或者体积非常非常大时，计算基数所需的空间总是固定的、并且是很小的。
在 Redis 里面，每个 HyperLogLog 键只需要花费 12 KB 内存，就可以计算接近 2^64 个不同元素的基数。这和计算基数时，元素越多耗费内存就越多的集合形成鲜明对比。
但是，因为 HyperLogLog 只会根据输入元素来计算基数，而不会储存输入元素本身，所以 HyperLogLog 不能像集合那样，返回输入的各个元素。

什么是基数?

比如数据集 {1, 3, 5, 7, 5, 7, 8}，那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内，快速计算基数。

命令

1、pfadd

格式
pfadd <key>< element> [element ...] 添加指定元素到HyperLogLog 中
实例
将所有元素添加到指定 HyperLogLog 数据结构中。如果执行命令后HLL估计的近似基数发生变化，则返回1(true)，否则返回0。

2、pfcount

格式 :
pfcount<key> [key ...]计算HLL的近似基数，可以计算多个HLL，比如用HLL存储每天的UV，计算一周的UV可以使用7天的UV合并计算即可
实例：

3、pfmerge

格式：pfmerge<destkey><sourcekey> [sourcekey ...]
将一个或多个HLL合并后的结果存储在另一个HLL中，比如每月活跃用户可以使用每天的活跃用户来合并计算可得。并集取出后的结果存储到 hill3 中。
实例

Geospatial

简介

Redis 3.2 中增加了对GEO类型的支持。
GEO，Geographic，地理信息的缩写。该类型，就是元素的2维坐标，在地图上就是经纬度。
redis基于该类型，提供了经纬度设置，查询，范围查询，距离查询，经纬度Hash等常见操作。

命令

1、geoadd

格式
geoadd<key>< longitude><latitude><member> [longitude latitude member...] 添加地理位置（经度，纬度，名称）
实例
```
geoadd china:city 121.47 31.23 shanghai
geoadd china:city 106.50 29.53 chongqing 114.05 22.52 shenzhen 116.38 39.90 beijing
```
- 经纬度一般不会直接添加，会下载城市数据，直接通过 Java 程序一次性导入。
- 有效的经度从 -180 度到 180 度。有效的纬度从 -85.05112878 度到 85.05112878 度。
- 当坐标位置超出指定范围时，该命令将会返回一个错误。
- 已经添加的数据，是无法再次往里面添加的。

2、geopos

格式
geopos <key><member> [member...] 获得指定地区的坐标值
实例

3、geodist

格式
geodist<key><member1><member2> [m|km|ft|mi ] 获取两个位置之间的直线距离
实例
获取两个位置之间的直线距离

单位：
- m 表示单位为米[默认值]。
- km 表示单位为千米。
- mi 表示单位为英里。
- ft 表示单位为英尺。
  如果用户没有显式地指定单位参数，那么 GEODIST 默认使用米作为单位

4、georadius

格式
georadius<key>< longitude><latitude>radius m|km|ft|mi以给定的经纬度为中心，找出某一半径内的元素
参数：经度纬度距离单位
实例

Jedis

入门案例请查看 《番外篇》

redis 完成手机

需求： 完成一个手机验证码功能

1、输入手机号，点击发送后随机生成6位数字码，2分钟有效
2、输入验证码，点击验证，返回成功或失败
3、每个手机号每天只能输入3次

具体思路

1、利用 random 随机生成 6 位数字验证码
2、把验证码放如到 redis中，设置过期时间为120秒（2min有效）
3、验证验证码是否一致：从 redis 中获取验证码和输入的验证码进行比较
4、每个手机每天只能发三次：利用incr 每次发送+1，大于3 的时候就不发送了。

代码

1、利用 random 随机生成 6 位数字验证码

public static String getCode(){Random random = new Random();String code="";for(int i=0;i<6;i++){int rand = random.nextInt(10);code+=rand;}return  code;
}

2、获取并且保存验证码，再次过程中需要先对当前的次数进行验证

// 如果用户已经要来三次code了，则直接返回。
// 否则，将code的有效时间设置为120秒并且存入redis中
public  static  String Get_and_saveCode(String phone){//因此需要两个 key：一个用来存验证码，一个用来存当前phone请求次数String codekey = "Verify"+phone+":code";String countkey = "Verify"+phone+":count";//保证每天只能进行三次验证//1. 连接jredisJedis jedis = new Jedis("xxxxx",6379);jedis.auth("xxxx");//2. 尝试取出当前次数String count =  jedis.get(countkey);if(count==null){//将计数器放入redis中//第二个参数为有效时间，相当于第二天后，就又可以重新获取验证码了jedis.setex(countkey,24*60*60, "1");}else {if(Integer.parseInt(count)<=3){//利用icre自增jedis.incr(countkey);}else {System.out.println("发送失败，今天的三次机会已经用完");return null;}}// 将当前code 存入redis中String code = getCode();//为了方便观察，这里我们只设置 有效时间 45 秒jedis.setex(codekey,2*60,code);jedis.close();return  code;}

3、模拟用户输入验证码，并且与redis中进行对比

public  static  void verifyCode(String ourcode,String phone){String codekey = "Verify"+phone+":code";String countkey = "Verify"+phone+":count";//1. 连接jredisJedis jedis = new Jedis("xxxx",6379);jedis.auth("xxxx");String code = jedis.get(codekey);if (code==null){System.out.println("当前验证码已经过期");}else {if(code.equals(ourcode)){System.out.println("验证成功，验证码相同");}else{System.out.println("验证失败~~");System.out.println("redis中的验证码为："+code+"---你的验证码为"+ourcode);}}
}

4、主函数的编写：

public static void main(String[] args) throws InterruptedException {//验证验证码是否正确以及 有效时间System.out.println("============= 第一次 要求发送验证码！================");String real_code = Get_and_saveCode("phone2");System.out.println("=============发送成功，当前redis验证码为"+real_code+"=============" );System.out.println("=============随便输入一个验证码:=============");verifyCode("213","phone2");System.out.println("=============输入正确验证码:=============");verifyCode(real_code,"phone2");System.out.println("=============等待2分钟，再输入争取验证码:=============");Thread.sleep(1000*60*2);verifyCode(real_code,"phone2");//验证一天三次System.out.println("============= 第二次 要求发送验证码！================");real_code = Get_and_saveCode("phone2");System.out.println("============= 第三次 要求发送验证码！================");real_code = Get_and_saveCode("phone2");
}System.out.println("============= 第四次 要求发送验证码！================");real_code = Get_and_saveCode("phone2");

5：结果如下所示：

Springboot 与 Jedis 整合

整合步骤

1、在 pom.xml 文件中引入 redis 相关依赖

<!-- redis -->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency><!-- spring2.X集成redis所需common-pool2-->
<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-pool2</artifactId>
<version>2.6.0</version>
</dependency>

2、application.properties 编写 redis 所需配置

#Redis服务器地址
spring.redis.host=192.168.140.136
#Redis服务器连接端口
spring.redis.port=6379
#Redis数据库索引（默认为0）
spring.redis.database= 0
#连接超时时间（毫秒）
spring.redis.timeout=1800000
#连接池最大连接数（使用负值表示没有限制）
spring.redis.lettuce.pool.max-active=20
#最大阻塞等待时间(负数表示没限制)
spring.redis.lettuce.pool.max-wait=-1
#连接池中的最大空闲连接
spring.redis.lettuce.pool.max-idle=5
#连接池中的最小空闲连接
spring.redis.lettuce.pool.min-idle=0

3、编写配置类，创建RedisConfig：RedisConfig类用于Redis数据缓存。有了这个类之后spring会自动注入一个 redisTemplate 类用于redis的相关操作。

@EnableCaching
@Configuration
public class RedisConfig extends CachingConfigurerSupport {@Beanpublic RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory factory) {RedisTemplate<String, Object> template = new RedisTemplate<>();RedisSerializer<String> redisSerializer = new StringRedisSerializer();Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);ObjectMapper om = new ObjectMapper();om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);jackson2JsonRedisSerializer.setObjectMapper(om);template.setConnectionFactory(factory);//key序列化方式template.setKeySerializer(redisSerializer);//value序列化template.setValueSerializer(jackson2JsonRedisSerializer);//value hashmap序列化template.setHashValueSerializer(jackson2JsonRedisSerializer);return template;}@Beanpublic CacheManager cacheManager(RedisConnectionFactory factory) {RedisSerializer<String> redisSerializer = new StringRedisSerializer();Jackson2JsonRedisSerializer jackson2JsonRedisSerializer = new Jackson2JsonRedisSerializer(Object.class);//解决查询缓存转换异常的问题ObjectMapper om = new ObjectMapper();om.setVisibility(PropertyAccessor.ALL, JsonAutoDetect.Visibility.ANY);om.enableDefaultTyping(ObjectMapper.DefaultTyping.NON_FINAL);jackson2JsonRedisSerializer.setObjectMapper(om);// 配置序列化（解决乱码的问题）,过期时间600秒RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig().entryTtl(Duration.ofSeconds(600)).serializeKeysWith(RedisSerializationContext.SerializationPair.fromSerializer(redisSerializer)).serializeValuesWith(RedisSerializationContext.SerializationPair.fromSerializer(jackson2JsonRedisSerializer)).disableCachingNullValues();RedisCacheManager cacheManager = RedisCacheManager.builder(factory).cacheDefaults(config).build();return cacheManager;}
}

测试如下：

@RestController
@RequestMapping("/redisTest")
public class RedisTestController {@Autowiredprivate RedisTemplate redisTemplate;@GetMappingpublic String testRedis() {//设置值到redisredisTemplate.opsForValue().set("name","lucy");//从redis获取值String name = (String)redisTemplate.opsForValue().get("name");return name;}
}