Redis 很屌,不懂使用规范就糟蹋了
❝
这可能是最中肯的 Redis 使用规范了
码哥,昨天我被公司 Leader 批评了。
我在单身红娘婚恋类型互联网公司工作,在双十一推出下单就送女朋友的活动。
谁曾想,凌晨 12 点之后,用户量暴增,出现了一个技术故障,用户无法下单,当时老大火冒三丈!
经过查找发现 Redis 报 Could not get a resource from the pool
。
获取不到连接资源,并且集群中的单台 Redis 连接量很高。
于是各种更改最大连接数、连接等待数,虽然报错信息频率有所缓解,但还是持续报错。
后来经过线下测试,发现存放 Redis 中的字符数据很大,平均 1s 返回数据。
❝
码哥,可以分享下使用 Redis 的规范么?我想做一个唯快不破的真男人!
Redis 使用规范围绕如下几个纬度展开:
键值对使用规范;
命令使用规范;
数据保存规范;
运维规范。
键值对使用规范
有两点需要注意:
好的
key
命名,才能提供可读性强、可维护性高的 key,便于定位问题和寻找数据。value
要避免出现bigkey
、选择高效的序列化和压缩、使用对象共享池、选择高效恰当的数据类型(可参考《Redis 实战篇:巧用数据类型实现亿级数据统计》)。
key 命名规范
规范的 key
命名,在遇到问题的时候能够方便定位。Redis 属于 没有 Scheme
的 NoSQL
数据库。
所以要靠规范来建立其 Scheme
语意,就好比根据不同的场景我们建立不同的数据库。
敲黑板
把「业务模块名」作为前缀(好比数据库 Scheme
),通过「冒号」分隔,再加上「具体业务名」。
这样我们就可以通过 key
前缀来区分不同的业务数据,清晰明了。
总结起来就是:「业务名:表名:id」
比如我们要统计公众号属于技术类型的博主「码哥字节」的粉丝数。
set 公众号:技术类:码哥字节 100000
❝
码哥,key 太长的话有什么问题么?
key 是字符串,底层的数据结构是 SDS
,SDS 结构中会包含字符串长度、分配空间大小等元数据信息。
字符串长度增加,SDS 的元数据也会占用更多的内存空间。
所以当字符串太长的时候,我们可以采用适当缩写的形式。
不要使用 bigkey
❝
码哥,我就中招了,导致报错获取不到连接。
因为 Redis 是单线程执行读写指令,如果出现bigkey
的读写操作就会阻塞线程,降低 Redis 的处理效率。
bigkey
包含两种情况:
键值对的
value
很大,比如value
保存了2MB
的String
数据;键值对的
value
是集合类型,元素很多,比如保存了 5 万个元素的List
集合。
虽然 Redis 官方说明了 key
和string
类型 value
限制均为512MB
。
防止网卡流量、慢查询,string
类型控制在10KB
以内,hash、list、set、zset
元素个数不要超过 5000。
❝
码哥,如果业务数据就是这么大咋办?比如保存的是《金瓶梅》这个大作。
我们还可以通过 gzip
数据压缩来减小数据大小:
/*** 使用gzip压缩字符串*/
public static String compress(String str) {if (str == null || str.length() == 0) {return str;}try (ByteArrayOutputStream out = new ByteArrayOutputStream();GZIPOutputStream gzip = new GZIPOutputStream(out)) {gzip.write(str.getBytes());} catch (IOException e) {e.printStackTrace();}return new sun.misc.BASE64Encoder().encode(out.toByteArray());
}/*** 使用gzip解压缩*/
public static String uncompress(String compressedStr) {if (compressedStr == null || compressedStr.length() == 0) {return compressedStr;}byte[] compressed = new sun.misc.BASE64Decoder().decodeBuffer(compressedStr);;String decompressed = null;try (ByteArrayOutputStream out = new ByteArrayOutputStream();ByteArrayInputStream in = new ByteArrayInputStream(compressed);GZIPInputStream ginzip = new GZIPInputStream(in);) {byte[] buffer = new byte[1024];int offset = -1;while ((offset = ginzip.read(buffer)) != -1) {out.write(buffer, 0, offset);}decompressed = out.toString();} catch (IOException e) {e.printStackTrace();}return decompressed;
}
集合类型
如果集合类型的元素的确很多,我们可以将一个大集合拆分成多个小集合来保存。
使用高效序列化和压缩方法
为了节省内存,我们可以使用高效的序列化方法和压缩方法去减少 value
的大小。
protostuff
和 kryo
这两种序列化方法,就要比 Java
内置的序列化方法效率更高。
上述的两种序列化方式虽然省内存,但是序列化后都是二进制数据,可读性太差。
通常我们会序列化成 JSON
或者 XML
,为了避免数据占用空间大,我们可以使用压缩工具(snappy、 gzip)将数据压缩再存到 Redis 中。
使用整数对象共享池
Redis 内部维护了 0 到 9999 这 1 万个整数对象,并把这些整数作为一个共享池使用。
即使大量键值对保存了 0 到 9999 范围内的整数,在 Redis 实例中,其实只保存了一份整数对象,可以节省内存空间。
需要注意的是,有两种情况是不生效的:
Redis 中设置了
maxmemory
,而且启用了LRU
策略(allkeys-lru 或 volatile-lru 策略
),那么,整数对象共享池就无法使用了。❝
这是因为 LRU 需要统计每个键值对的使用时间,如果不同的键值对都复用一个整数对象就无法统计了。
如果集合类型数据采用 ziplist 编码,而集合元素是整数,这个时候,也不能使用共享池。
❝
因为 ziplist 使用了紧凑型内存结构,判断整数对象的共享情况效率低。
命令使用规范
有的命令的执行会造成很大的性能问题,我们需要格外注意。
生产禁用的指令
Redis 是单线程处理请求操作,如果我们执行一些涉及大量操作、耗时长的命令,就会严重阻塞主线程,导致其它请求无法得到正常处理。
KEYS:该命令需要对 Redis 的全局哈希表进行全表扫描,严重阻塞 Redis 主线程;
❝
应该使用 SCAN 来代替,分批返回符合条件的键值对,避免主线程阻塞。
FLUSHALL:删除 Redis 实例上的所有数据,如果数据量很大,会严重阻塞 Redis 主线程;
FLUSHDB,删除当前数据库中的数据,如果数据量很大,同样会阻塞 Redis 主线程。
❝
加上 ASYNC 选项,让 FLUSHALL,FLUSHDB 异步执行。
我们也可以直接禁用,用rename-command
命令在配置文件中对这些命令进行重命名,让客户端无法使用这些命令。
慎用 MONITOR 命令
MONITOR 命令会把监控到的内容持续写入输出缓冲区。
如果线上命令的操作很多,输出缓冲区很快就会溢出了,这就会对 Redis 性能造成影响,甚至引起服务崩溃。
所以,除非十分需要监测某些命令的执行(例如,Redis 性能突然变慢,我们想查看下客户端执行了哪些命令)我们才使用。
慎用全量操作命令
比如获取集合中的所有元素(HASH 类型的 hgetall、List 类型的 lrange、Set 类型的 smembers、zrange 等命令)。
这些操作会对整个底层数据结构进行全量扫描 ,导致阻塞 Redis 主线程。
❝
码哥,如果业务场景就是需要获取全量数据咋办?
有两个方式可以解决:
使用
SSCAN、HSCAN
等命令分批返回集合数据;把大集合拆成小集合,比如按照时间、区域等划分。
数据保存规范
冷热数据分离
虽然 Redis 支持使用 RDB 快照和 AOF 日志持久化保存数据,但是,这两个机制都是用来提供数据可靠性保证的,并不是用来扩充数据容量的。
不要什么数据都存在 Redis,应该作为缓存保存热数据,这样既可以充分利用 Redis 的高性能特性,还可以把宝贵的内存资源用在服务热数据上。
业务数据隔离
不要将不相关的数据业务都放到一个 Redis 中。一方面避免业务相互影响,另一方面避免单实例膨胀,并能在故障时降低影响面,快速恢复。
设置过期时间
在数据保存时,我建议你根据业务使用数据的时长,设置数据的过期时间。
写入 Redis 的数据会一直占用内存,如果数据持续增多,就可能达到机器的内存上限,造成内存溢出,导致服务崩溃。
控制单实例的内存容量
建议设置在 2~6 GB 。这样一来,无论是 RDB 快照,还是主从集群进行数据同步,都能很快完成,不会阻塞正常请求的处理。
防止缓存雪崩
避免集中过期 key 导致缓存雪崩。
❝
码哥,什么是缓存雪崩?
当某一个时刻出现大规模的缓存失效的情况,那么就会导致大量的请求直接打在数据库上面,导致数据库压力巨大,如果在高并发的情况下,可能瞬间就会导致数据库宕机。
运维规范
使用 Cluster 集群或者哨兵集群,做到高可用;
实例设置最大连接数,防止过多客户端连接导致实例负载过高,影响性能。
不开启 AOF 或开启 AOF 配置为每秒刷盘,避免磁盘 IO 拖慢 Redis 性能。
设置合理的 repl-backlog,降低主从全量同步的概率
设置合理的 slave client-output-buffer-limit,避免主从复制中断情况发生。
根据实际场景设置合适的内存淘汰策略。
使用连接池操作 Redis。
Redis 很屌,不懂使用规范就糟蹋了相关推荐
- 腹肌怎么练?推荐5个很屌的腹肌动作
如果说胸,是女性的心头肉,那坚实的八块腹肌就是男人绝对的心头好了,很多男性在健身房的第一选择就是训练腹部肌群. 要让六块肌能被看到,就要朝两个面向去努力: 1. 减少覆盖在上方的脂肪(减脂) 2. 增 ...
- 游戏公司岗位揭密:美工易搭讪,策划都很屌
最近,由一个越南人写出来的无聊小游戏<像素鸟>极度火爆,许多人被它变态的难度虐到直想摔手机.实际上,这是个关于程序猿如何报复世界的故事.而在游戏公司内,各个岗位之间彼此交错,构成了一副错综 ...
- 【Android进阶】如何写一个很屌的动画(3)---高仿腾讯手机管家火箭动画
系列中其他文章: [Android进阶]如何写一个很屌的动画(1)-先实现一个简易的自定义动画框架 [Android进阶]如何写一个很屌的动画(2)-动画的好帮手们 [Android进阶]如何写一个很 ...
- springboot项目里面使用redis出现看不懂的\xac\xed\x00\x05t\x00\解决方法(规范使用)
1.redis配置 import com.alibaba.fastjson.parser.ParserConfig;import com.alibaba.fastjson.support.spring ...
- 看故事学Redis:再不懂,我怀疑你是假个开发
摘要:还不懂Redis?看完这个故事就明白了! 本文转载自博客园社区<还不懂Redis?看完这个故事就明白了!>,作者:轩辕之风 我是Redis 你好,我是Redis,一个叫Antirez ...
- Redis常用命令及命名规范
redis命令用于在redis服务上执行操作,要在redis服务上执行命令,需要一个redis客户端 del key,该命令用于在key存在时删除key,可以删除多个key dump key,查看某个 ...
- 你以为自己很屌,其实是你圈子弱amp;#…
某高富帅对我说他最近身边有好多美女备胎,有些甚至是有夫之妇,平时总会约他出来吃吃喝喝甚至别的,他觉得他的魅力好大.我好奇问:"你是这个圈子里面最高富帅的一个?"他说:"当 ...
- Redis很牛逼很秀!轻松实现实时订阅推送
点击上方 "程序员小乐"关注, 星标或置顶一起成长 每天凌晨00点00分, 第一时间与你相约 每日英文 Smiling doesn't always mean you're hap ...
- Java学习专栏!全网最牛!
Java基础系列 001:<快速深入理解JDK动态代理原理> 002:<这可能是你见过最全面的HashMap解读> 003:<我敢打赌你一定没用过 Java 中的这个类! ...
最新文章
- kinect深度距离误差_Kinect 深度测量原理
- iOS UITest之加载其他应用
- opencv学习笔记4:获取图像属性
- 初中计算机word教案ppt,初中信息技术课件 用Word处理文字.ppt
- 【忘川风华录】可爱的大“装备”?名士猫交互设计复盘
- FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.解决办法
- OD的 CC断点,内存访问断点,硬件断点 解析
- 在python中value是啥意思_【Python】python,字典中如何根据value值取对应的key值
- PM早知道:电子身份证是个啥?
- Recbole自定义训练集、验证集和测试集推荐
- mysql 参数 列 排序_将参数放入MySQL IN()后,按降序对列进行排序?
- 浙江午饭9月17~18日杭州聚会详细计划
- 阿里巴巴Java开发编码规范—注释规约
- 电梯远程监控维护系统方案
- 王道计算机网络 第三章 数据链路层
- MFC中操作Word文档
- STM32 FOC BLDC 无刷电机 控制开发板资料 视频教程 例程 FOC库
- 东大22春《计算机应用基础》在线平时作业2题目非答案
- 好东西要分享,PCB自动生成元件库和封装库的方法
- android字体!字节大神强推千页PDF学习笔记,大厂面试题汇总
热门文章
- python词频作图_基于Python的词频分析与云图生成
- df满足条件的值修改_文科生学 Python 系列 16:泰坦尼克数据 2(缺失值处理)
- 组合计数 ---- Codeforces Round #370 (Div. 2)D. Memory and Scores[dp]
- golang python rpc_grpc - 使用 golang 带你从头撸一套 RPC 服务(一)
- 解题报告:luogu P2423 [HEOI2012]朋友圈【最大团转最大点独立集(匈牙利算法+时间戳优化)】
- java如何重写_java中如何重写一个方法
- c语言俄罗斯方块注释,C语言学习1年-俄罗斯方块(无注释)
- easyui中的tree数据使用说明
- mysql开启慢查询日志
- 微信浏览器下拉黑边的终极解决方案---wScroollFix