分析redis key大小的几种方法
本文系转载,便于整理和归档。原文地址 https://cloud.tencent.com/developer/article/1757281
当redis被用作缓存时,有时我们希望了解key的大小分布,或者想知道哪些key占的空间比较大。本文提供了几种方法。
一. bigKeys
这是redis-cli自带的一个命令。对整个redis进行扫描,寻找较大的key。例:
redis-cli -h b.redis -p 1959 --bigkeys
输出:
# Scanning the entire keyspace to find biggest keys as well as
# average sizes per key type. You can use -i 0.1 to sleep 0.1 sec
# per 100 SCAN commands (not usually needed).[00.00%] Biggest hash found so far 's_9329222' with 3 fields
[00.00%] Biggest string found so far 'url_http://mini.eastday.com/mobile/170722090206890.html?qid=sgllq&ch=east_sogou_push&pushid=13' with 8 bytes
[00.00%] Biggest string found so far 'foo' with 40 bytes
[00.00%] Biggest hash found so far 's_9329084' with 4 fields
[00.23%] Biggest zset found so far 'region_hot_菏泽地' with 625 members
[00.23%] Biggest zset found so far 'region_hot_葫芦岛' with 914 members
[00.47%] Biggest string found so far 'top_notice_list' with 135193 bytes
[00.73%] Biggest zset found so far 'region_hot_自贡' with 2092 members
[01.90%] Biggest hash found so far 'uno_facet_2018-12-20' with 59 fields
[11.87%] Biggest zset found so far 'region_hot_上海' with 2233 members
[27.05%] Biggest set found so far 'blacklist_set_key' with 31832 members
[73.87%] Biggest string found so far 'PUSH_NEWS' with 3104237 bytes
[86.18%] Biggest zset found so far 'region_hot_北京' with 2688 members-------- summary -------Sampled 4263 keys in the keyspace!
Total key length in bytes is 174847 (avg len 41.02)Biggest string found 'PUSH_NEWS' has 3104237 bytes
Biggest set found 'blacklist_set_key' has 31832 members
Biggest hash found 'uno_facet_2018-12-20' has 59 fields
Biggest zset found 'region_hot_北京' has 2688 members1616 strings with 3771161 bytes (37.91% of keys, avg size 2333.64)
0 lists with 0 items (00.00% of keys, avg size 0.00)
1 sets with 31832 members (00.02% of keys, avg size 31832.00)
2353 hashs with 7792 fields (55.20% of keys, avg size 3.31)
293 zsets with 333670 members (06.87% of keys, avg size 1138.81)
说明:
- 该命令使用scan方式对key进行统计,所以使用时无需担心对redis造成阻塞。
- 输出大概分为两部分,summary之上的部分,只是显示了扫描的过程。summary部分给出了每种数据结构中最大的Key。
- 统计出的最大key只有string类型是以字节长度为衡量标准的。list,set,zset等都是以元素个数作为衡量标准,不能说明其占的内存就一定多。所以,如果你的Key主要以string类型存在,这种方法就比较适合。
更多关于bigkeys的说明可以参考这里。
二. debug object key
redis的命令,可以查看某个key序列化后的长度。 例:
连接上redis后执行如下命令b.redis:1959> hmset myhash k1 v1 k2 v2 k3 v3
OK
b.redis:1959> debug object myhash
Value at:0x7f005c6920a0 refcount:1 encoding:ziplist serializedlength:36 lru:3341677 lru_seconds_idle:2
关于输出的项的说明:
- Value at:key的内存地址
- refcount:引用次数
- encoding:编码类型
- serializedlength:序列化长度
- lru_seconds_idle:空闲时间 关于refcount, encoding, lru_seconds_idle的更详细解释可以参考这里。
几个需要注意的问题
- serializedlength是key序列化后的长度(redis在将key保存为rdb文件时使用了该算法),并不是key在内存中的真正长度。这就像一个数组在json_encode后的长度与其在内存中的真正长度并不相同。不过,它侧面反应了一个key的长度,可以用于比较两个key的大小。
- serializedlength会对字串做一些可能的压缩。如果有些字串的压缩比特别高,那么在比较时会出现问题。比如下列:
b.redis:1959> set str1 aaaaaaaaaaaaaaaaaaaaaaaaaaaaaa
OK
b.redis:1959> set str2 abcdefghijklmnopqrstuvwxyz1234
OK
b.redis:1959> debug object str1
Value at:0x7f007c035b80 refcount:1 encoding:embstr serializedlength:12 lru:3342615 lru_seconds_idle:13
b.redis:1959> debug object str2
Value at:0x7f00654df400 refcount:1 encoding:embstr serializedlength:31 lru:3342622 lru_seconds_idle:7
两个字串的实际长度都是30, 但str1的serializedlength为12, str2的为31。
- redis的官方文档不是特别建议在客户端使用该命令,可能因为计算serializedlength的代价相对高。所以如果要统计的key比较多,就不适合这种方法。
三. redis rdb tools
这是一个redis rdb file的分析工具,可以根据rdb file生成内存报告。
3.1 安装
需要python2.4以上版本和pip。
pip install rdbtools
3.2 生成内存报告
首先我们需要有一份rdb文件,如果你在配置中开启了rdb,那么redis会自动生成rdb文件。如果没有,可以手动执行bgsave。如果是线上机器,执行时要考虑机器负载等问题。拿到rdb文件后,我们就可以生成内存报告了。命令如下:
rdb -c memory file
例:
rdb -c memory /tmp/dump.rdb
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,hash,data:index_flow_yingshi,10492,hashtable,1,8992,2019-01-14T08:20:10.236000
0,hash,data:index_movie,22068,hashtable,7,2896,2019-01-14T07:29:19.685000
0,string,block:index_module_novel,8296,string,7694,7694,2019-01-13T00:27:46.128000
0,string,block:index_bottom_baike_aikan,8296,string,7632,7632,2019-01-14T02:27:11.850000
0,string,block:index_bottom_tools,5224,string,4549,4549,2019-01-13T01:02:09.171000
0,string,block:index_module_travel,7272,string,6408,6408,2019-01-13T00:43:39.478000
...
输出了db,数据类型,key, 大小, 编码等多列信息。至于分析数据,你可以用shell,也可以保存成csv用excel排序,或者干脆存到db里,想怎么排怎么排。
如果只要知道最大的N个key, 可以使用-l选项。例:
[@sjs_73_171 ~]$ rdb -c memory -l 3 /tmp/dump.rdb
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element,expiry
0,hash,city_tong,724236,hashtable,3113,216,2019-01-14T01:10:59.407000
0,hash,iplocsearch,406292,hashtable,383,180190,2019-01-30T05:37:56.082000
0,hash,weather_tong3,583844,hashtable,319,1658,2019-01-07T10:22:33.742000
3.3 查看单个key
如果我们只需要查询单个key所使用的内存可以不必依赖rdb file, 使用redis-memory-for-key命令即可。 例:
[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 myhash
Key myhash
Bytes 83
Type hash
Encoding ziplist
Number of Elements 3
Length of Largest Element 2[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str1
Key str1
Bytes 80
Type string[@sjs_73_171 WEB-INF]$ redis-memory-for-key -s b.redis -p 1959 str2
Key str2
Bytes 80
Type string
3.4 更多
- 工具得出的内存值为近似值,这点可以参看作者的说明。“Why doesn’t reported memory match actual memory used?”
- 工具通过分析rdb file中的key及value,反算出该kv在内存中的大小。计算时充分考虑了数据类型的影响,key本身长度的影响,内存分配等多种因素。虽然得出的大小不是真实值,但用于key大小的比较是完全可以的。
- rdb的功能不仅于此,它还可以将kv导成json格式,也可以按正则表达式只导出部分key, 更多使用方法可以查看
rdb --help
也可以查看git上的帮助文档。
四. 总结
- 如果想粗略的看下最大key, 可以使用bigKeys。
- 如果查询的key不多,key的压缩比又没有明显差异,可以使用debug object key。
- 如果不介意安装个工具,那么redis rdb tools似乎是最佳选择。
分析redis key大小的几种方法相关推荐
- 增加表空间大小的四种方法
增加表空间大小的四种方法 Meathod1:给表空间增加数据文件 ALTER TABLESPACE app_data ADD DATAFILE 'D:\ORACLE\PRODUCT\10.2.0\OR ...
- hpux 下查看内存的的大小的几种方法:
hpux 下查看内存的的大小的几种方法: # /opt/ignite/binpa/print_manifest|grep Memory NOTE: Could not read the /etc/re ...
- 计算机怎么看显卡内存容量,Win10系统显卡显存大小怎样查看?Win10查看显存大小的两种方法...
对于十分关心电脑配置的用户而言,查看电脑显卡显存大小是一件非常必要的事情.那么,Win10系统电脑该怎样查看显卡显存大小呢?虽然现在有很多软件都可以直接查看,但是不使用软件查看才是真正的好方法.下面, ...
- linux查看进程占用的内存大小,查看进程占用内存大小的几种方法,占用内存几种方法...
查看进程占用内存大小的几种方法,占用内存几种方法 1. pmap -x pid 2. ps -aux | grep 进程名 ps -e -o 'pid,comm,args,pcpu,rsz,vsz,s ...
- 分析网页 JavaScript Bundles 的几种方法
分析你网页中的 JavaScript Bundles 大小,并限制网页中的 JavaScript 数量,可以减少浏览器花费在解析.编译和执行 JavaScript 的时间.这可以加快浏览器可以开始响 ...
- 字体大小的设置_老年人用智能手机,怎样更改字体大小?3种方法,手把手教您学会...
分享生活小妙招,共享科技新生活!大家好,欢迎来到今天的知识分享!我是你们的好朋友小俊! 我们的老年朋友在使用手机时候都会觉得字体太小,导致使用起来非常不方便,那么今天我就教大家三种方法来设置字体大小, ...
- Redis中持久化的两种方法详解
Redis提供了两种不同的持久化方法来将数据存储到硬盘里面.一种方法叫快照(snapshotting),它可以将存在于某一时刻的所有数据都写入硬盘里;另一种方法教只追加文件(append-only f ...
- matlab绘制子图怎么,MATLAB画图之多子图画法(subplot和自己确定大小位置两种方法)...
解决问题:在一个图中画多个子图,又能自己确定子图的大小和位置. 解决方法:有两种解决方法可以实现: 使用subplot命令 使用axes函数来重新规定子图的大小和位置. 这两种方法中,第一种方法相对简 ...
- python输出运行时间_分析python程序运行时间的几种方法
最早见过手写的,类似于下面这种: 1 import datetime 2 3 def time_1(): 4 begin = datetime.datetime.now() 5 sum = 0 6 f ...
- 在安卓应用开发过程中减小安卓应用大小的 9 种方法
随着越来越多的数字化,我们对日常使用的移动和移动应用程序的要求也越来越高.移动存储空间的增加提高到256 GB,随着我们满足客户需求,添加新功能并支持不同屏幕尺寸的应用程序,这肯定会增加. 根据该报告 ...
最新文章
- 腾讯二面:Redis 事务支持 ACID 么?
- html5开发桌面界面设计,HTML5触摸界面设计与开发
- 常见的java内存溢出情况
- flutter AppBar
- 食品新消费的2021:站在逻辑跑通与成为品牌的隧道期
- C#黔驴技巧之实现统计结果排名
- 求1到N的全排列 (转载)
- linux下无权限安装ffmpeg-4.1.3
- SpringCloud-服务的消费者(rest+ribbon)
- 华为软挑2019总结
- 统计年鉴29份3种格式混合
- 【人工智能算法】算法基础之K均值聚类算法
- win10 软路由_N合1服务器!NAS、软路由、高清盒子、Web一个都不能少!
- 陶哲轩实分析 命题7.4.3 (级数的重排) 证明
- win10安装oracle客户端
- OpenCV-Python教程
- STC12C5A60S2定时器配置
- 中国科学院大学计算机学院夏令营,中科院计算所2019年夏令营名单
- iov_iter操作
- 1072 开学寄语(20 分)
热门文章
- rk3399_android7.1耳机拔插ADC检测
- 入门OJ 4187【周末舞会】
- selenium报错TypeError: 'FirefoxWebElement' object is not iterable
- Python内置函数(10)——float
- CentOS下MYSQL数据库的安装
- 数据库系列学习(三)-数据的增、删、改
- 二十三、K8s集群强化1-认证
- Leetcode 刷题笔记(十六) —— 二叉树篇之二叉搜索树的属性
- Ubuntu18.04安装wireshark3.0.6(版本可自己选)
- Grafana v6.0.0 发布,系统指标监控与分析平台