Redis Cluster原理初步
目录
目录 1
1. 前言 1
2. 槽(slots) 1
3. 路由配置(node.conf) 1
4. 总slots数(cluster.h:16384) 2
5. key的路由 2
6. 将key转成整数值(crc16.c:crc16) 2
7. 计算key所在slot(cluster.c:keyHashSlot) 2
8. Redis Cluster Client实现 3
1. 前言
截至2016/5/16最新版本的redis-3.2.0仍然非强一致性,基于性能考虑master和它的slaves间数据是异步复制的。另外,一个确定的key总是只会落到确定的master,除非使用redis-trib.rb等工具修改slots和master间的绑定关系,目前的redis cluste不支持自动从一个master迁移一个slot到另一个master(slaves对slots来说,可以认为和对应的master相同)。
2. 槽(slots)
Redis cluster将所有存储在其上的key通过一个hash算法划分成若干slots,当前为16384个slots,值在cluster.h文件中由宏CLUSTER_SLOSTS指定。
3. 路由配置(node.conf)
存储的内容和redis命令“cluster nodes”的输出相同,即存储了master和slave信息,以及各master存储的slots,亦即slots的路由信息存储在node.conf。
同一Redis cluster中的所有节点的node.conf文件内容最终是一致的。
4. 总slots数(cluster.h:16384)
#define CLUSTER_SLOTS 16384 // 等于(0x3FFF + 1) |
宏CLUSTER_SLOTS定义了redis cluster的slots数,理论上这个值应当可以修改重编译。其值越大,相对更容易均衡,可支撑更多节点数的集群(实际受限于无中心节点,当然架构的redis cluster节点数不宜过大,否则可能引起网络风暴)。
5. key的路由
-> 将key转成整数值
-> 计算key所在的slot
-> 找到slot所在的master或slaves(redis cluster可配置允许slaves提供读)
-> 转成直接对master或slaves的请求。
由于任何一个redis cluster节点都存储了相同内容的node.conf,所以client可以请求任一节点获得slots的路由数据。
而且由于node.conf中包含了master和slaves信息,因此读写操作可以完美的路由到相应的节点。
6. 将key转成整数值(crc16.c:crc16)
Redis使用crc算法将一个字符串转成整数,宏CLUSTER_SLOTS的值是不能超过CRC返回的最大值。
uint16_t crc16(const char *buf, int len) { int counter; uint16_t crc = 0; for (counter = 0; counter < len; counter++) crc = (crc<<8) ^ crc16tab[((crc>>8) ^ *buf++)&0x00FF]; return crc; } |
7. 计算key所在slot(cluster.c:keyHashSlot)
对于一个redis KEY它归属于哪一个slot,这个可以通过函数keyHashSlot()调用计算出来:
unsigned int keyHashSlot(char *key, int keylen) { int s, e; /* start-end indexes of { and } */ for (s = 0; s < keylen; s++) if (key[s] == '{') break; /* No '{' ? Hash the whole key. This is the base case. */ if (s == keylen) return crc16(key,keylen) & 0x3FFF; /* '{' found? Check if we have the corresponding '}'. */ for (e = s+1; e < keylen; e++) if (key[e] == '}') break; /* No '}' or nothing betweeen {} ? Hash the whole key. */ if (e == keylen || e == s+1) return crc16(key,keylen) & 0x3FFF; /* If we are here there is both a { and a } on its right. Hash * what is in the middle between { and }. */ return crc16(key+s+1,e-s-1) & 0x3FFF; // 3FFF即为16383 } |
8. Redis Cluster Client实现
通过上面的信息,不然发现,Redis Cluster Client只是在原来单机版client基础上多了一层薄的路由逻辑。因此可以基于现有的hiredis等实现支持redis cluster的client库。大致过程如下:
class CRedisClusterClient { public: // nodes Redis集群中的单个或多个节点,格式为:ip1:port1,ip2:port2,如:127.0.0.1:6379,127.0.0.1:6380,192.168.31.11:6379 CRedisClusterClient(const std::string& nodes); void set(const std::string& key, const std::string& value) const; void get(const std::string& key, std::string* value); private: redisContext* _redis_context; // hiredis }; |
set()函数实现:
1) CRedisClusterClient从nodes取任一nodeA,如:127.0.0.1:6380
2) 建立与nodeA的连接
3) 从nodeA取得slots路由数据(实现时可缓存这部分数据,以提升性能)
4) 构造slots路由数据表(由于slots总数有限,可以以slot为下标数组方式组织路由表)
5) 计算key所在的slot
6) 找到slot所在的nodeB(对于写操作,要求nodeB为master,有可能碰巧就是nodeA)
7) 使用hiredis访问nodeB(从这步开始和原使用hiredis相同)
8) 取得hiredis返回的结果
如果使用hiredis发生网络异常,对于写操作从第3步开始重执行,对于读操作从第6步重选一个node重执行。
转载于:https://www.cnblogs.com/aquester/p/9891529.html
Redis Cluster原理初步相关推荐
- 全面剖析Redis Cluster原理和应用
全面剖析Redis Cluster原理和应用 1.Redis Cluster总览 1.1 设计原则和初衷 在官方文档Cluster Spec中,作者详细介绍了Redis集群为什么要设计成现在的样子.最 ...
- 不懂Redis Cluster原理,我被同事diss了!
" Redis 缓存作为使用最多的缓存工具被各大厂商争相使用.通常我们会使用单体的 Redis 应用作为缓存服务,为了保证其高可用还会使用主从模式(Master-Slave),又或者是读写分 ...
- 全面剖析Redis Cluster原理和应用 (good)
redis redis cluster注意的问题 : 1.'cluster-require-full-coverage'参数的设置.该参数是redis配置文件中cluster模式的一个参数,从字面上基 ...
- Redis cluster原理
前言 上文我们聊了基于Sentinel的Redis高可用架构,了解了Redis基于读写分离的主从架构,同时也知道当Redis的master发生故障之后,Sentinel集群是如何执行failover的 ...
- Redis Cluster 原理你了解不?
1. redis cluster 介绍 1.1 自动将数据进行分片,每个master上放一部分数据 1.2 提供内置的高可用支持,部分master不可用时,这是可以继续工作的 在redis clust ...
- Redis Cluster 集群模式原理和动态扩容
Redis Cluster原理 详细参考 Redis cluster集群模式的原理, 在这里补充下要点 16384个slot, 平均分布在各个master, key-value 对存储在slot中; ...
- redis cluster中添加删除重分配节点例子
redis cluster中添加删除重分配节点例子 作者:用户 来源:互联网 时间:2016-05-05 10:22:27 摘要: 本文讲的是redis cluster中添加删除重分配节点例子, re ...
- redis cluster以及master-slave在windows下环境搭建
一.redis cluster环境搭建: 1.了解Redis Cluster原理: 详细了解可参考:http://doc.redisfans.com/topic/cluster-tutorial.ht ...
- Redis Cluster部署、管理和测试
背景: Redis 3.0之后支持了Cluster,大大增强了Redis水平扩展的能力.Redis Cluster是Redis官方的集群实现方案,在此之前已经有第三方Redis集群解决方案,如Twen ...
最新文章
- JsonUtils fasterxml jackson
- Deploying Windows Mobile 6 with Exchange Server 2007 白皮书
- Ubuntu 16.04下如何安装VMware-Workstation
- POJ 1386 欧拉路的判定
- 李彦宏被提名工程院院士,而美女教授颜宁落选,当选为美国院士
- 通过阿里云容器镜像服务海外服务器构建spark-operator镜像
- micropython esp8266教程_ESP8266 快速开发指南
- LintCode 375. 克隆二叉树(深复制)
- nginx缓存页面后,串会话问题的解决方案(转)
- plc模拟器软件_你的PLC和触摸屏为什么总是通讯不上?
- IDEA启动项目报错:非法字符: ‘\ufeff‘
- 数字数据类型及其对应转移字符
- JAVA抛出异常的三种形式
- 刷百度权重的方法!!刷百度权重不为人知的内幕!慎用!
- HMM隐马尔可夫模型详解
- [nginx]SSL: error:0B080074:x509 certificate routines:X509_check_private_key:key values mismatch
- 通过快递鸟如何接入韵达速递电子面单
- 【DB笔试面试622】在Oracle中,说说COUNT(*)计算行数有哪些优化手段?
- 报名 | 相约杭州,我们来聊聊区块链技术与行业应用落地
- 软件工程—软件结构图笔记详谈
热门文章
- java 内省 反射_Java的反射和内省
- python解释器调用_python入门-python解释器执行
- unity 让一个数按一秒累加_unity中的数据储存读取(基于PlayerPrefs)
- python动态显示数据_python中plot实现即时数据动态显示方法
- java 类方法应用题,java方法使用
- python多态_多态是什么?为什么要使用多态?
- matlab向量的角标,【MATLAB】利用冒号表达式获得子矩阵
- python编程对电脑要求_什么是集成开发环境和代码编辑器?优秀Python编程环境的要求(4)...
- u8 和 char如何转化_如何编写高效率稳定的单片机代码
- input date保存值_涛哥文集(36):R keras保存和还原模型