面试被问 Go 的map[int64]int64 在 redis 会占多少空间...

我们在系统设计面试或者在实际工作中，免不了要进行一些估算。之前的文章里讲过一些技巧，今天来个实战。

这是我最近在做的一个工作，将内存中的一个超大的 map[int64]int64 写入到 redis，map 里的元素个数是千万级的。设计方案的时候，需要对 redis 的容量做一个估算。

如果不了解 redis 的话，可能你的答案是用元素个数直接乘以 16B（key 和 value 各占 8B）。我们假设元素个数是 5kw，那估算结果就是：5kw * 16B=50kk * 16B = 800MB。

答案是错的。

为了解决这个问题，需要深入地研究一下 redis 的数据结构。

整个 redis 数据库就是一个大的 map，它容纳了所有的 key，我们都知道 key 都是 string 类型，而 value 则有 string, list, set, hashmap, zset……等类型。

Redis 中的一个 k-v 对用一个 entry 项表示，其中每个 entry 包含 key、value、next 三个指针，共 24 字节。由于 redis 使用 jemalloc 分配内存，因此一个 entry 需要申请 32 字节的内存。这里的 key, value 指针分别指向一个 RedisObject：

redis entry

typedef struct redisObject {unsigned type:4;unsigned encoding:4;unsigned lru:LRU_BITS; int refcount;void *ptr;
} robj;

RedisObject 对应前面提到的各种数据类型，其中最简单的就是 redis 内部的字符串了。它有如下几种编码格式：

SDS 编码（图片来自极客时间-redis 专栏）

图中的元数据包括 type，encoding，lru， refcount，分别表示数据类型，编码类型，最近一次访问的时间戳，引用次数。

当字符串是一个整型时，直接放在 ptr 位置，不用再分配新的内存了，非常高效。

解析一下 44 字节的原因：元数据和 ptr 共占 16 字节，加上 44 字节，再加上字符串末尾的 '\0'，共61 字节。因为字符串的长度只有 44，因此 len 和 alloc 各用 1 个字节就够了。再加上 1 个字节的 flags，刚好是 64 字节。超过了这个值，SDS 就需要单独再申请一块内存，导致访问的时候就多了一跳指针。

多提一句，redis 最大支持 512MB 大小的字符串。

回答本文的问题，恰好我们要写入 redis 的 map 中的 key 和 value 都是整数，因此直接将值写入 ptr 处即可。

于是 map 的一个 key 占用的内存大小为：32（entry）+16（key）+16（value）=64B。于是，5kw 个 key 占用的内存大小是 5kw*64B = 50 kk * 64B = 3200MB ≈ 3G。

假如我们在 key 前面加上了前缀，那就会生成 SDS，占用的内存会变大，访问效率也会变差。

总之，我们根据要写入 redis 中的字符串的长度可以很方便地估算占用内存的总大小。如果 key 和 value 恰好都是 int64 类型的，那么尽量不要在 key 前加前缀，这样可以直接使用 key 的个数乘以 64B 就能算出占用内存的大小。

本文内容转载自公众号「码农桃花源」，号主会经常分享一些令人醍醐灌顶的设计思路和看问题的视角。

- END -

扫码关注公众号「网管叨bi叨」

给网管个星标，第一时间吸我的知识

面试被问 Go 的map[int64]int64 在 redis 会占多少空间...相关推荐

Redis面试常问3 如何实现分布式锁记住Redis的原子性
Redis面试常问3 如何实现分布式锁上面的伪代码有问题从 Redis 2.6.12 版本开始, SET 命令的行为可以通过一系列参数来修改: http://redisdoc.com/string ...
拿下阿里三面是后，面试官问我：你是怎么学习Redis的？
你是怎么学Redis的? 随着面试官的这一句话,我的思绪回到了刚毕业的时候,面试官也是这么问的我; 记得刚毕业时,我是在B站看视频入门的,入个门应付平时的CRUD完全没问题,但当工作中碰到问题的时候, ...
linux驱动工程面试必问知识点
linux内核原理面试必问(由易到难) 简单型 1:linux中内核空间及用户空间的区别?用户空间与内核通信方式有哪些? 2:linux中内存划分及如何使用?虚拟地址及物理地址的概念及彼此之间的转化, ...
Go map[int64]int64 写入 redis 占用多少内存
我们在系统设计面试或者在实际工作中,免不了要进行一些估算.之前的文章里讲过一些技巧,今天来个实战. 这是我最近在做的一个工作,将内存中的一个超大的 map[int64]int64 写入到 redis, ...
线程安全的map_面试必问－几种线程安全的Map解析
HashMap线程安全的吗? Java中平时用的最多的Map集合就是HashMap了,它是线程不安全的. 推荐阅读:我凭借这份pdf拿下了蚂蚁金服.字节跳动.小米等大厂的offer 看下面两个场景: ...
【020期】面试官问：Java 遍历 Map 集合有几种方式？效率如何？
>>号外:关注"Java精选"公众号,回复"2021面试题",领取免费资料!"Java精选面试题"小程序,3000+ 道面试题在 ...
面试被问烂的 Spring IOC(求求你别再问了)
点击上方"方志朋",选择"置顶或者星标" 你的关注意义重大! 作者:莫那·鲁道链接:http://thinkinjava.cn 广义的 IOC IoC(Inv ...
后处理程序文件大小的变量_【每日一题】(17题)面试官问：JS中事件流，事件处理程序，事件对象的理解？...
关注「松宝写代码」,精选好文,每日一题作者:saucxs | songEagle 2020,实「鼠」不易 2021,「牛」转乾坤风劲潮涌当扬帆,任重道远须奋蹄! 一.前言 2020.12.23 立 ...
阿里面试这样问：Nacos配置中心交互模型是 push 还是 pull ？（原理+源码分析）...
本文来源:公众号「程序员内点事」对于Nacos大家应该都不太陌生,出身阿里名声在外,能做动态服务发现.配置管理,非常好用的一个工具.然而这样的技术用的人越多面试被问的概率也就越大,如果只停留在使用 ...

面试被问 Go 的map[int64]int64 在 redis 会占多少空间...

面试被问 Go 的map[int64]int64 在 redis 会占多少空间...相关推荐

最新文章

热门文章