Redis--慢查询的分析
原文网址:Redis--慢查询的分析_IT利刃出鞘的博客-CSDN博客
简介
本文介绍Redis的慢查询日志,包括其设置方法、分析方法。
Redis的慢查询概述
许多存储系统(例如MySQL) 提供慢查询日志帮助开发和运维人员定 位系统存在的慢操作。 所谓慢查询日志就是系统在命令执行前后计算每条命 令的执行时间, 当超过预设阀值, 就将这条命令的相关信息(例如: 发生时 间, 耗时, 命令的详细信息) 记录下来, Redis也提供了类似的功能。
Redis客户端执行一条命令分为如下4个部分:
1) 发送命令
2) 命令排队
3) 命令执行
4) 返回结果
慢查询只统计步骤3) 的时间, 所以没有慢查询并不代表客户端没有超时问题。
参数的配置
对于慢查询功能, 需要明确两件事:
- 预设阀值怎么设置?
- 慢查询记录存放在哪?
Redis提供了slowlog-log-slower-than和slowlog-max-len配置来解决这两个 问题。 从字面意思就可以看出, slowlog-log-slower-than就是那个预设阀值, 它的单位是微秒(1秒=1000毫秒=1000000微秒) , 默认值是10000, 假如执 行了一条“很慢”的命令(例如keys*) , 如果它的执行时间超过了10000微 秒, 那么它将被记录在慢查询日志中。
运维提示
- slowlog-log-slower-than=0会记录所有的命令
- slowlog-log-slowerthan<0对于任何命令都不会进行记录。
从字面意思看, slowlog-max-len只是说明了慢查询日志最多存储多少 条, 并没有说明存放在哪里? 实际上Redis使用了一个列表来存储慢查询日志, slowlog-max-len就是列表的最大长度。 一个新的命令满足慢查询条件时被插入到这个列表中。当慢查询日志列表已处于其最大长度时, 最早插入的一个命令将从列表中移出, 例如slowlog-max-len设置为5, 当有第6条慢查询插入的话, 那么队头的第一条数据就出列, 第6条慢查询就会入列。
在Redis中有两种修改配置的方法, 一种是修改配置文件, 另一种是使用config set命令动态修改。 例如下面使用config set命令将slowlog-log-slowerthan设置为20000微秒, slowlog-max-len设置为1000:
config set slowlog-log-slower-than 20000
config set slowlog-max-len 1000
config rewrite
如果要Redis将配置持久化到本地配置文件, 需要执行命令:config rewrite。
查看慢查询日志
慢查询日志是存放在Redis内存列表中的, 但是Redis并没有暴露这个列表的键, 而是通过一组命令来实现对慢查询日志的访问和管理。
获取慢查询日志
slowlog get [n]
下面操作返回当前Redis的慢查询, 参数n可以指定条数:
127.0.0.1:6379> slowlog get
1) 1) (integer) 6662) (integer) 14567865003) (integer) 116154) 1) "BGREWRITEAOF"
2) 1) (integer) 6652) (integer) 14567184003) (integer) 120064) 1) "SETEX"2) "video_info_200"3) "300"4) "2"...
可以看到每个慢查询日志有4个属性组成, 分别是:
慢查询日志的标识id、 发生时间戳、 命令耗时、 执行命令和参数。
获取慢查询日志列表当前长度
slowlog len
例如, 当前Redis中有45条慢查询:
127.0.0.1:6379> slowlog len
(integer) 45
清理慢查询日志
slowlog reset
例如:
127.0.0.1:6379> slowlog len
(integer) 45
127.0.0.1:6379> slowlog reset
OK
127.0.0.1:6379> slowlog len
(integer) 0
最佳实践
慢查询功能可以有效地帮助我们找到Redis可能存在的瓶颈,但在实际使用过程中要注意以下几点:
slowlog-max-len配置建议
线上建议调大慢查询列表,记录慢查询时Redis会对长命令做截断操作,并不会占用大量内存。增大慢查询列表可以减小慢查询被剔除的可能,例如线上可设置为1000以上。
slowlog-log-slower-than配置建议
默认值超过10毫秒判定为慢查询,需要根据Redis并发量调整该值。由于Redis采用单线程响应命令,对于高流量的场景,如果命令执行时间在1毫秒以上,那么Redis最多可支撑OPS不到1000。因此对于高OPS场景的Redis建议设置为1毫秒。
慢查询只记录命令执行时间,并不包括命令排队和网络传输时间
此客户端执行命令的时间会大于命令实际执行时间。因为命令执行排队机制,慢查询会导致其他命令级联阻塞,因此当客户端出现请求超时,需要检查该时间点是否有对应的慢查询,从而分析出是否为慢查询导致的命令级联阻塞。
慢查询日志可能会丢失
由于慢查询日志是一个先进先出的队列,也就是说如果慢查询比较多的情况下,可能会丢失部分慢查询命令。为了防止这种情况发生,可以定期执行slowget命令将慢查询日志持久化到其他存储中(例如MySQL),然后可以制作可视化界面进行查询,第13章介绍的Redis私有云CacheCloud提供了这样的功能,好的工具可以让问题排查事半功倍。
其他网址
《Redis开发与运维》=> 3.1 慢查询分析
Redis--慢查询的分析相关推荐
- 使用elk+redis搭建nginx日志分析平台(引)
http://www.cnblogs.com/yjf512/p/4199105.html elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎 ...
- ELK+redis搭建nginx日志分析平台
ELK+redis搭建nginx日志分析平台 发表于 2015-08-19 | 分类于 Linux/Unix | ELK简介 ELKStack即Elasticsearch + Logs ...
- MySQL慢查询日志分析(二)
1: 为什么在慢查询日志里面出现Query_time小于long_query_time阀值的SQL语句呢? 例如,long_query_time=5, 但是Query_time小于1秒的SQL都记录到 ...
- MySQL 慢查询日志分析及可视化结果
MySQL 慢查询日志分析及可视化结果 MySQL 慢查询日志分析 pt-query-digest分析慢查询日志 pt-query-digest --report slow.log 报告最近半个小时的 ...
- 时间序列数据和MongoDB:第三部分 - 查询,分析和呈现时间序列数据
作者:Robert Walters 译者:刘东华 (Martin Liu) 在 时间序列数据和MongoDB中:第一部分 - 简介 我们回顾了您需要了解的关键问题,以了解数据库的查询访问模式.在 时间 ...
- mac mongodb可视化工具_「时序数据库」和MongoDB:第3部分-查询、分析和呈现
在<时间序列数据和MongoDB:第1部分-简介>中,我们回顾了理解数据库的查询访问模式需要询问的关键问题.在<时间序列数据和MongoDB:第2部分-模式设计最佳实践>中,我 ...
- Druid:一个用于大数据实时处理的开源分布式系统——大数据实时查询和分析的高容错、高性能开源分布式系统...
转自:http://www.36dsj.com/archives/28590 Druid 是一个用于大数据实时查询和分析的高容错.高性能开源分布式系统,旨在快速处理大规模的数据,并能够实现快速查询和分 ...
- MySQL 通用查询日志和慢查询日志分析
MySQL中的日志包括:错误日志.二进制日志.通用查询日志.慢查询日志等等.这里主要介绍下比较常用的两个功能:通用查询日志和慢查询日志. 1)通用查询日志:记录建立的客户端连接和执行的语句. 2)慢查 ...
- redis批量操作及性能分析
redis批量操作及性能分析 用过redis的小伙伴都知道,这东西是C/S的,就单纯的ser key vvv 就要走一次TCP,记得官方是说redis的qps将近10W,这...我不太敢相信,一秒钟之 ...
最新文章
- [美团 CodeM 初赛 Round A]最长树链
- [Angualr 2] Using FormBuilder
- Python内置函数int()高级用法
- Java基础学习总结(184)—— 从 Java 9 到 Java 17 的新特性解读
- JS:ES6-2 const 关键字
- 怎样成为一个优秀的领导?
- MITRE 发布防御知识库 Shield
- 解决 github clone慢
- 基于JSP的鲜花商城源码
- 论一个女程序员的自我修养
- Aviary 滤镜 教程 照片编辑器
- 使用window.open打开新窗口被谷歌浏览器拦截
- 基于PHP的餐饮行业管理系统
- VIM7.3中文手册
- 蔚来回应测试车坠楼:初步确认为意外事故;首发苹果M2,新MacBook Pro 13英寸正式开售:9999元起|极客头条
- 已解决 You can enable repos with yum-config-manager --enable <repo>
- 红外夜视摄像头 小方智能摄像头使用手记
- python怎么统计多少字符_python统计中文字符数量的两种方法
- 这种技术,让全世界哑巴都能开口说话 | 精选
- 网站降权的特征和原因有哪些呢?