高手过招, 为什么 Redis Cluster 是16384个槽位?
我们都知道Redis的集群有三种方案:
1、主从复制模式
2、Sentinel(哨兵)模式
3、Redis Cluster模式
当然使用随着海量数据的存储要求,单台Redis配置有限,已经满足不了我们的需求。我们考虑采用分布式集群方案。
Redis Cluster 采用数据分片机制,定义了 16384个 Slot槽位,集群中的每个Redis 实例负责维护一部分槽以及槽所映射的键值数据。
客户端可以连接集群中任意一个Redis 实例,发送读写命令,如果当前Redis 实例收到不是自己负责的Slot的请求时,会将该slot所在的正确的Redis 实例地址返回给客户端。
客户端收到后,自动将原请求重新发到这个新地址,自动操作,外部透明。
★
是不是有点似曾相识的感觉,HTTP 协议也有重定向功能。玩法跟这个差不多。HTTP 响应头有一个
Location
字段,当状态码是301
或者302
时,客户端会自动读取Location
中的新地址,自动重定向发送请求。”
Redis key的路由计算公式:slot = CRC16(key) % 16384
添加、删除或者修改某一个节点,都不会造成集群不可用的状态。使用哈希槽的好处就在于可以方便的添加或移除节点。
当需要增加节点时,只需要把其他节点的某些哈希槽挪到新节点;当需要移除节点时,只需要把移除节点上的哈希槽挪到其他节点。
CRC16的算法原理:
根据CRC16的标准选择初值CRCIn的值
将数据的第一个字节与CRCIn高8位异或
判断最高位,若该位为 0 左移一位,若为 1 左移一位再与多项式Hex码异或
重复3直至8位全部移位计算结束。
重复将所有输入数据操作完成以上步骤,所得16位数即16位CRC校验码。
CRC16 算法最大值
CRC16 算法,产生的hash值有 16 bit 位,可以产生 65536(2^16)个值 ,也就是说值分布在 0 ~ 65535 之间
这时候,疑问来了,槽位总数为什么是 16384 ?65536 不可以吗?
这个问题,Redis 官方 Issues 也有朋友提出来过
地址:
https://github.com/redis/redis/issues/2576
antirez
大神对这个问题做了回复,简单归纳起来,有以下原因:
正常的心跳数据包携带节点的完整配置,它能以幂等方式来更新配置。如果采用 16384 个插槽,占空间 2KB (16384/8);如果采用 65536 个插槽,占空间 8KB (65536/8)。
Redis Cluster 不太可能扩展到超过 1000 个主节点,太多可能导致网络拥堵。
16384 个插槽范围比较合适,当集群扩展到1000个节点时,也能确保每个master节点有足够的插槽,
8KB 的心跳包看似不大,但是这个是心跳包每秒都要将本节点的信息同步给集群其他节点。比起 16384 个插槽,头大小增加了4倍,ping消息的消息头太大了,浪费带宽。
Redis主节点的哈希槽配置信息是通过 bitmap 来保存的
传输过程中,会对bitmap进行压缩,bitmap的填充率越低,压缩率越高。
bitmap 填充率 = slots / N (N表示节点数),
所以,插槽数偏低的话, 填充率会降低,压缩率会升高。
综合下来,从心跳包的大小、网络带宽、心跳并发、压缩率等维度考虑,16384 个插槽更有优势且能满足业务需求。
★万事万物,都是相互制衡的,”大“ 不一定是最好的,合适最重要。”
接下来,我们看下master节点间心跳数据包格式:
消息格式分为:消息头和消息体。消息头包含发送节点自身状态数据,接收节点根据消息头就可以获取到发送节点的相关数据,
代码位置:
/usr/src/redis/redis-5.0.7/src/cluster.h
其中,消息头有一个myslots的char类型数组,unsigned char myslots[CLUSTER_SLOTS/8];
,数组长度为 16384/8 = 2048 。底层存储其实是一个bitmap,每一个位代表一个槽,如果该位为1,表示这个槽是属于这个节点。
消息体中,会携带一定数量的其他节点信息用于交换,约为集群总节点数量的1/10,节点数量越多,消息体内容越大。10个节点的消息体大小约1kb。
划重点:
细心的同学可能会有疑问,char不是占2个字节吗?数组长度为什么是 16384/8?不应该是 16384/16 吗?
因为,Redis 是 C 语言开发的,char 占用一个 字节;而 Java 语言 char 占用 两个 字节。
master节点间心跳通讯
Redis 集群采用 Gossip(流言)协议, Gossip 协议工作原理就是节点彼此不断通信交换信息,一段时间后所有的节点都会知道集群完整的信息,类似流言传播。
集群中每个节点通过一定规则挑选要通信的节点,每个节点可能知道全部节点,也可能仅知道部分节点,只要这些节点彼此可以正常通信,最终它们会达到一致的状态。当节点出现故障、新节点加入、主从角色变化、槽信息变更等事件发生时,通过不断的 ping/pong 消息通信,经过一段时间后所有的节点都会知道整个集群 全部节点的最新状态,从而达到集群状态同步的目的。
具体规则如下:
1、每秒会随机选取5个节点,找出最久没有通信的节点发送ping消息
2、每隔 100毫秒 都会扫描本地节点列表,如果发现节点最近一次接受pong消息的时间大于cluster-node-timeout/2 ,则立刻发送ping消息
因此,每秒单master节点发出ping消息数量:
= 1 + 10 * num(node.pong_received>cluster_node_timeout/2)
总结:
1、每秒 redis节点需要发送一定数量的ping消息作为心跳包,如果槽位为 65536,这个ping消息的消息头太大了,浪费带宽。
2、业务上看,集群主节点数量基本不可能超过1000个。集群节点越多,心跳包的消息体携带的数据越多。如果节点超过1000个,会导致网络拥堵。因此redis作者,不建议redis cluster节点数量超过1000个。
3、槽位越小,节点少的情况下,压缩率更高
高手过招, 为什么 Redis Cluster 是16384个槽位?相关推荐
- redis cluster 集群 HA 原理和实操(史上最全、面试必备)
文章很长,建议收藏起来慢慢读!疯狂创客圈总目录 语雀版 | 总目录 码云版| 总目录 博客园版 为您奉上珍贵的学习资源 : 免费赠送 经典图书:<Java高并发核心编程(卷1)> 面试必备 ...
- Redis集群方案对比:Codis、Twemproxy、Redis Cluster
为了保证Redis的高可用,主要需要以下几个方面: 数据持久化 主从复制 自动故障恢复 集群化 我们简单理一下这几个方案的特点,以及它们之间的联系. 数据持久化本质上是为了做数据备份,有了数据持久化, ...
- 技术前沿:分布式缓存Redis Cluster在华泰证券的探索与实践
关注↑↑↑我们获得更多精彩内容! 本文选自<交易技术前沿>总第三十期文章(2018年3月) 作者:樊建 陈营 葛宝磊/华泰证券股份有限公司 Redis Cluster作为最热门的开源分布式 ...
- 全面剖析Redis Cluster原理和应用 (good)
redis redis cluster注意的问题 : 1.'cluster-require-full-coverage'参数的设置.该参数是redis配置文件中cluster模式的一个参数,从字面上基 ...
- 算法高级(19)-不得不懂的Redis Cluster数据分片机制
亲爱的同学们,你是否使用过Redis集群呢?那Redis集群的原理又是什么呢?记住下面两句话: Redis Sentinal着眼于高可用,在master宕机时会自动将slave提升为master,继续 ...
- redis集群 + 哨兵 + zookeeper_Redis05——Redis Cluster 如何实现分布式集群
前面一片文章,我们已经说了Redis的主从集群及其哨兵模式.本文将继续介绍Redis的分布式集群. " 在高并发场景下,单个Redis实例往往不能满足业务需求.单个Redis数据量过大会 ...
- Redis Cluster部署、管理和测试
背景: Redis 3.0之后支持了Cluster,大大增强了Redis水平扩展的能力.Redis Cluster是Redis官方的集群实现方案,在此之前已经有第三方Redis集群解决方案,如Twen ...
- Redis cluster集群:原理及搭建
1.为什么使用redis? redis是一种典型的no-sql 即非关系数据库 像python的字典一样 存储key-value键值对 工作在memory中 所以很适合用来充当整个互联网架构中各级之间 ...
- 高性能分布式缓存redis(持久化原理 安全策略 过期删除内存淘汰策略 性能压测 高可用 Redis Cluster)
redis redis(持久化原理 安全策略 过期删除&内存淘汰策略 性能压测 高可用 Redis Cluster) 1. 持久化原理 1.1 持久化流程(落盘) 1.2 RDB详解 1.2. ...
最新文章
- vs配置编译c语言,为 VSCode 配置 C 语言编译环境
- 单选框_vue实现单选框自定义样式
- 关于湖北工业大学图书馆联网配置的方法
- 《系统集成项目管理工程师》必背100个知识点-34项目范围基准
- 一文搞定JS中的DOM基础与进阶
- Linux(centos)的常用基本命令
- Maven常用的构建命令
- StreamWriter打开文件报错:”不支持给定路径的格式。“
- 【激活函数】PRelu激活函数
- 百度AI学习:二、语音合成
- 视频AI对话杭州云栖:新一代视频智能生产的探索与实践
- 视频教程-小学生c++趣味编程入门视频教程 少儿C十十信息学奥赛竞赛网课-C/C++
- Unity Driven 属性(代码控制属性)使用示例
- ERP软件实施要提供那些环境条件
- C基础 工程中常用的排序
- 汇编语言-CPU如何区分指令和数据
- centos7-ip代理转发功能的配置
- stm32毕业设计 单片机MP3音乐播放器
- 区块链福利(注册即可)
- 向微信公众号文章中添加pdf、jpg、png、xlsx等文件
热门文章
- java线程stop re_Java 多线程 之 stop停止线程实例
- telegraf监控mysql数据库_部署Telegraf+Influxdb+Grafana 架构来监控 MySQL
- Cargo 教程介绍
- ldap客户端工具_什么是性能测试?性能测试主流工具有哪些?
- 线段树分裂与合并 ---- 树上差分 P4556 [Vani有约会]雨天的尾巴 /【模板】线段树合并
- 打印机在计算机里被删掉,不小心把设置里打印机删掉了怎么办
- 什么是php伪静态规则,php设置伪静态规则编写 问题
- 0x03.基本算法 — 前缀和与差分
- xp用光盘安装linux系统安装教程视频,光盘重装xp系统图文教程
- java 父线程_Java父线程(或是主线程)等待所有子线程退出的实例