介绍

阿里云redis内存使用持续飙升，需要分析下内存使用情况，有发现redis-rdb-tools，支持对rdb文件分析，主要功能有：

• Generate a Memory Report of your data across all databases and keys
• Convert dump files to JSON
• Compare two dump files using standard diff tools

实现

安装

[root@xxx redis]# pip install rdbtools python-lzf
[root@xxx redis]# git clone https://github.com/sripathikrishnan/redis-rdb-tools
[root@xxx redis]# cd redis-rdb-tools
[root@xxx redis]# python setup.py install

参数说明

[root@xxx redis]# rdb --help
Usage: rdb [options] /path/to/dump.rdbExample : rdb --command json -k "user.*" /var/redis/6379/dump.rdbOptions:-h, --help            show this help message and exit-c FILE, --command=FILECommand to execute. Valid commands are json, diff,justkeys, justkeyvals, memory and protocol-f FILE, --file=FILE  Output file-n DBS, --db=DBS      Database Number. Multiple databases can be provided.If not specified, all databases will be included.-k KEYS, --key=KEYS   Keys to export. This can be a regular expression-o NOT_KEYS, --not-key=NOT_KEYSKeys Not to export. This can be a regular expression-t TYPES, --type=TYPESData types to include. Possible values are string,hash, set, sortedset, list. Multiple typees can beprovided.                      If not specified, alldata types will be returned-b BYTES, --bytes=BYTESLimit memory output to keys greater to or equal tothis value (in bytes)-l LARGEST, --largest=LARGESTLimit memory output to only the top N keys (by size)-e ESCAPE, --escape=ESCAPEEscape strings to encoding: raw (default), print,utf8, or base64.

生成csv报告

生成报表字段有database（key在redis的db）、type（key类型）、key（key值）、size_in_bytes（key的内存大小）、encoding（value的存储编码形式）、num_elements（key中的value的个数）、len_largest_element（key中的value的长度），可以创建个表的导入到关系型库用SQL语句分析。

[root@xxx redis]# rdb -c memory hins3537653_data_20180427002229.rdb > memory.csv
mysql> CREATE TABLE `redis_memory` (-> id int NOT NULL PRIMARY KEY,->   `database` int(128) DEFAULT NULL comment 'key在redis的db',->   `type` varchar(128) DEFAULT NULL comment 'key类型',->   `key` varchar(128) UNIQUE KEY comment 'key值',->   `size_in_bytes` bigint(20) DEFAULT NULL comment 'key的内存大小',->   `encoding` varchar(128) DEFAULT NULL comment 'value的存储编码形式',->   `num_elements` bigint(20) DEFAULT NULL comment 'key中的value的个数',->   `len_largest_element` varchar(128) DEFAULT NULL comment 'key中的value的长度'-> );

解析指定key

[root@xxx redis]# rdb --command justkeyvals --key "02796f8159cabac4*" /mnt/redis/hins3537653_data_20180427002229.rdb 

解析特定字符打头指定类型的key

[root@xxx  redis]# rdb -c json --db 0 --type string --key "02796f8159cabac4*" /mnt/redis/hins3537653_data_20180427002229.rdb 

根据使用内存大小排序

-n是按照数字大小排序，-r是以相反顺序，-k是指定需要爱排序的栏位，-t指定栏位分隔符为冒号

[root@xxx redis]# sort -t, -k4nr memory.csv

总结

现在是手动实现，可以调用阿里云API实现自动采集和分析后入库，前端接入grafana展示，实现对redis数据使用的监控系统化，同时接入钉钉机器人报警主动推送给业务组优化（后续更新）。

参照

redis-rdb-tools
使用rdbtools工具来解析redis dump.rdb文件及内存使用量