当缓存集群的节点有所增加的时候,整个环形空间的映射仍然会保持一致性哈希的顺时针规则,所以有一小部分key的归属会受到影响。

作者:IT知识课堂来源

一年之前——

未来两年内,系统预估的总订单数量可达一亿条左右。

按Mysql单表存储500万条记录来算,暂时不必分库,单库30个分表是比较合适的水平分表方案。

于是小灰设计了这样的分表逻辑:

  1. 订单表创建单库30个分表
  2. 对用户ID和30进行取模,取模结果决定了记录存于第几个分表
  3. 查询时需要以用户ID作为条件,根据取模结果确定查询哪一个分表

分表方式如下图(为了便于描述,简化为5个分表):

过了两个月——

又过了半年多——

小灰的回忆告一段落——

1.首先,我们把全量的缓存空间当做一个环形存储结构。环形空间总共分成2^32个缓存区,在Redis中则是把缓存key分配到16384个slot。

2.每一个缓存key都可以通过Hash算法转化为一个32位的二进制数,也就对应着环形空间的某一个缓存区。我们把所有的缓存key映射到环形空间的不同位置。

3.我们的每一个缓存节点(Shard)也遵循同样的Hash算法,比如利用IP做Hash,映射到环形空间当中。

4.如何让key和节点对应起来呢?很简单,每一个key的顺时针方向最近节点,就是key所归属的存储节点。所以图中key1存储于node1,key2,key3存储于node2,key4存储于node3。

1.增加节点

当缓存集群的节点有所增加的时候,整个环形空间的映射仍然会保持一致性哈希的顺时针规则,所以有一小部分key的归属会受到影响。

有哪些key会受到影响呢?图中加入了新节点node4,处于node1和node2之间,按照顺时针规则,从node1到node4之间的缓存不再归属于node2,而是归属于新节点node4。因此受影响的key只有key2。

最终把key2的缓存数据从node2迁移到node4,就形成了新的符合一致性哈希规则的缓存结构。

2.删除节点

当缓存集群的节点需要删除的时候(比如节点挂掉),整个环形空间的映射同样会保持一致性哈希的顺时针规则,同样有一小部分key的归属会受到影响。

有哪些key会受到影响呢?图中删除了原节点node3,按照顺时针规则,原本node3所拥有的缓存数据就需要“托付”给node3的顺时针后继节点node1。因此受影响的key只有key4。

最终把key4的缓存数据从node3迁移到node1,就形成了新的符合一致性哈希规则的缓存结构。

如上图所示,假如node1的ip是192.168.1.109,那么原node1节点在环形空间的位置就是hash(“192.168.1.109”)。

我们基于node1构建两个虚拟节点,node1-1 和 node1-2,虚拟节点在环形空间的位置可以利用(IP+后缀)计算,例如:

hash(“192.168.1.109#1”),hash(“192.168.1.109#2”)

此时,环形空间中不再有物理节点node1,node2,只有虚拟节点node1-1,node1-2,node2-1,node2-2。由于虚拟节点数量较多,缓存key与虚拟节点的映射关系也变得相对均衡了。

阅读目录(置顶)(长期更新计算机领域知识)

阅读目录(置顶)(长期更新计算机领域知识)

阅读目录(置顶)(长期科技领域知识)

歌谣带你看java面试题

第六十九期: 漫画说算法之什么是一致性哈希?相关推荐

  1. 第六十九期:【学习分享】温水里的程序员,技术将成为温水

    张泰峰 7月7日 七月,炎炎的夏日,疯狂的暴雨不分昼夜,侵袭着这座城.早上七点,我骑着摩拜单车出发去往地铁站,誓死如归一般的,挤进地铁.像往常一样,骑车.挤地铁.打卡上班. 相信大家都跟我一样,未来的 ...

  2. 开发者论坛一周精粹(第十九期) :【重要事件】运维人员注意啦:NetSarang的Xmanager和Xshell多种产品被植入后门...

    摘要: 安全公司发现官方发布的软件版本中,nssock2.dll模块源码被植入后门.由于使用该软件的技术人员较多,存在一定的安全风险. 目前官方已经发布了xshell最高版本为 Xshell 5 Bu ...

  3. 《袁老师访谈录》第十九期-【在商言商·思享会】(第一场)“企业如何抓住新一代科技红利”...

    11月21日,<袁老师访谈录>第十九期-香港科大商学院[在商言商·思享会](第一场)"企业如何抓住新一代科技红利"成功举办,现场共有近150位校友及观众到场,十大平台同 ...

  4. 互联网创新创业大赛优秀范例_第五十九期创业沙龙——“互联网+”大学生创新创业大赛实践案例...

    原标题:第五十九期创业沙龙--"互联网+"大学生创新创业大赛实践案例 第五十九期创业沙龙 第六届"互联网+".2020年"创青春"系列竞赛开 ...

  5. 鲁大师电动车智能化测评报告第十九期:电自旗舰大乱斗,九号突围成功

    鲁大师第十九期智能化电动车测评排行榜数据来源于鲁大师智慧实验室,测评的车型均为市面上主流品牌的主流车型.截止目前,鲁大师智能化电动车测评的车型高达100余台,且还在不断增加和丰富中. 1. 测评依据 ...

  6. DockOne微信分享(六十九):微服务选型之Modern Node.js

    本文讲的是DockOne微信分享(六十九):微服务选型之Modern Node.js[编者的话]目前Node.js的发展非常快,大家可能还停留在:Node.js性能很好,Node.js里都是回调,写起 ...

  7. 极乐技术周报(第十九期)

    2019独角兽企业重金招聘Python工程师标准>>> 极乐技术周报(第十九期) 为什么程序员总是搞混万圣节和圣诞节? 因为... Oct 31 = Dec 25. 1.爬虫工程师如 ...

  8. CSDN 编程竞赛二十九期题解

    竞赛总览 CSDN 编程竞赛二十九期:比赛详情 (csdn.net) 竞赛题解 题目1.订班服 小A班级订班服了!可是小A是个小糊涂鬼,整错了好多人的衣服的大小.小A只能自己掏钱包来补钱了.小A想知道 ...

  9. 应用回归分析何晓群课第五版_海外第三方应用市场分析丨出海学院十九期直播课...

    Enjoy出海一站式出海服务平台 点击关注"Enjoy出海"公众号 时时参与出海答疑问题 出海学院第十九期直播课 出海学院十九期直播课,由Enjoy出海CEO金翔主讲,本期主题为& ...

最新文章

  1. python书籍_python书籍购买建议
  2. linux select与多进程的结合
  3. java executor_Java 动态语言支持
  4. PHP脚本批量清除nginx缓存的方法
  5. java iterator 将int_ListIteratorlt;Egt; listIterator(int index)_Java.util包|WIKI教程
  6. oracle中出现大量active,Oracle技术之大量会话出现resmgr:become active等待
  7. linux内存管理策略,Glibc内存管理—ptmalloc内存分配策略(1)
  8. 2016/4/19 ①单个文件上传 ②上传图片后 预览图片
  9. as2的Key.isDown方法在as3的代替
  10. 2022年软件评测师考试大纲
  11. 基础数学4:导数、偏导数、方向导数、梯度、全微分回顾
  12. 计算机hp1007打印程序,HP P1007
  13. 理论小知识:集合之scard
  14. 面试经历(某大型机器人少儿编程培训机构)
  15. 华为终端云服务HMS赋能智能汽车,AITO问界M5 36城同启交付
  16. 计算机b级考试题型分值分布,英语b级多少分算过-英语B级考试分值分布告诉我一下 – 手机爱问...
  17. MyBatis中的日志(LOG4J)
  18. 2020年全国计算机二级考试大纲改变,2020年3月计算机二级考试大纲内容
  19. MATLAB轻松绘制地图路线——已知及未知坐标下的处理方法(1)
  20. thinkphp5常用函数汇总_THINKSNS常用函数

热门文章

  1. TCP为何采用三次握手来建立连接,若采用二次握手可以吗
  2. datax底层原理_Datax 插件加载原理
  3. oracle 11gogg,【OGG】Oracle GoldenGate 11g (二) GoldenGate 11g 单向同步配置 上
  4. php添加jpeg,PHP-如何将JPEG图像保存为渐进JPEG?
  5. 手机h5 java平台_H5 手机 App 开发入门:技术篇
  6. 微信上传素材 java_微信素材上传(JAVA)
  7. python基础代码的含义_Python基础学习篇
  8. linux如何全局搜索目录,Linux 全目录全文搜索
  9. WordPress后台添加侧边栏菜单
  10. Javascript基础(一)