漫画:什么是一致性哈希?
一年之前——
未来两年内,系统预估的总订单数量可达一亿条左右。
按Mysql单表存储500万条记录来算,暂时不必分库,单库30个分表是比较合适的水平分表方案。
于是小灰设计了这样的分表逻辑:
订单表创建单库30个分表
对用户ID和30进行取模,取模结果决定了记录存于第几个分表
查询时需要以用户ID作为条件,根据取模结果确定查询哪一个分表
分表方式如下图(为了便于描述,简化为5个分表):
过了两个月——
又过了半年多——
小灰的回忆告一段落——
1.首先,我们把全量的缓存空间当做一个环形存储结构。环形空间总共分成2^32个缓存区,在Redis中则是把缓存key分配到16384个slot。
2.每一个缓存key都可以通过Hash算法转化为一个32位的二进制数,也就对应着环形空间的某一个缓存区。我们把所有的缓存key映射到环形空间的不同位置。
3.我们的每一个缓存节点(Shard)也遵循同样的Hash算法,比如利用IP做Hash,映射到环形空间当中。
4.如何让key和节点对应起来呢?很简单,每一个key的顺时针方向最近节点,就是key所归属的存储节点。所以图中key1存储于node1,key2,key3存储于node2,key4存储于node3。
1.增加节点
当缓存集群的节点有所增加的时候,整个环形空间的映射仍然会保持一致性哈希的顺时针规则,所以有一小部分key的归属会受到影响。
有哪些key会受到影响呢?图中加入了新节点node4,处于node1和node2之间,按照顺时针规则,从node1到node4之间的缓存不再归属于node2,而是归属于新节点node4。因此受影响的key只有key2。
最终把key2的缓存数据从node2迁移到node4,就形成了新的符合一致性哈希规则的缓存结构。
2.删除节点
当缓存集群的节点需要删除的时候(比如节点挂掉),整个环形空间的映射同样会保持一致性哈希的顺时针规则,同样有一小部分key的归属会受到影响。
有哪些key会受到影响呢?图中删除了原节点node3,按照顺时针规则,原本node3所拥有的缓存数据就需要“托付”给node3的顺时针后继节点node1。因此受影响的key只有key4。
最终把key4的缓存数据从node3迁移到node1,就形成了新的符合一致性哈希规则的缓存结构。
如上图所示,假如node1的ip是192.168.1.109,那么原node1节点在环形空间的位置就是hash(“192.168.1.109”)。
我们基于node1构建两个虚拟节点,node1-1 和 node1-2,虚拟节点在环形空间的位置可以利用(IP+后缀)计算,例如:
hash(“192.168.1.109#1”),hash(“192.168.1.109#2”)
此时,环形空间中不再有物理节点node1,node2,只有虚拟节点node1-1,node1-2,node2-1,node2-2。由于虚拟节点数量较多,缓存key与虚拟节点的映射关系也变得相对均衡了。
—————END—————
漫画:什么是一致性哈希?相关推荐
- 漫画:什么是一致性哈希
转载自 玻璃猫 程序员小灰 一年之前-- 未来两年内,系统预估的总订单数量可达一亿条左右. 按Mysql单表存储500万条记录来算,暂时不必分库,单库30个分表是比较合适的水平分表方案. 于是小灰设计 ...
- 第六十九期: 漫画说算法之什么是一致性哈希?
当缓存集群的节点有所增加的时候,整个环形空间的映射仍然会保持一致性哈希的顺时针规则,所以有一小部分key的归属会受到影响. 作者:IT知识课堂来源 一年之前-- 未来两年内,系统预估的总订单数量可达一 ...
- 一致 先验分布 后验分布_浅谈Loki分布式架构中的一致性哈希
云原生小白 看到上面蓝色字了么?关注下吧! Loki在分布式部署的模式下,保存Ingester服务的状态主要有3个渠道,分别是etcd.consul和基于gossip协议的memberlist.不管L ...
- “分布式哈希”和“一致性哈希”的概念与算法实现
分布式哈希和一致性哈希是分布式存储和p2p网络中说的比较多的两个概念了.介绍的论文很多,这里做一个入门性质的介绍. 分布式哈希(DHT) 两个key point:每个节点只维护一部分路由:每个节点只存 ...
- 哈希分布与一致性哈希算法简介
前言 在我们的日常web应用开发当中memcached可以算作是当今的标准开发配置了.相信memcache的基本原理大家也都了解过了,memcache虽然是分布式的应用服务,但分布的原则是由clien ...
- 一致性哈希算法以及其PHP实现
在做服务器负载均衡时候可供选择的负载均衡的算法有很多,包括: 轮循算法(Round Robin).哈希算法(HASH).最少连接算法(Least Connection).响应速度算法(Respons ...
- 一致性哈希(Consistent Hashing)
在大型web应用中,缓存可算是当今的一个标准开发配置了.在大规模的缓存应用中,应运而生了分布式缓存系统.分布式缓存系统的基本原理,大家也有所耳闻.key-value如何均匀的分散到集群中?说到此,最常 ...
- 一致性hash算法虚拟节点_一致性哈希算法——虚拟节点
一致性哈希算法--虚拟节点 一致性哈希算法是分布式系统中常用的算法.比如,一个分布式的存储系统,要将数据存储到具体的节点上,如果采用普通的hash方法,将数据映射到具体的节点上,如key%N,key是 ...
- 用韩信三技能,讲清楚一致性哈希
作者 | 悟空聊架构 来源 | 悟空聊架构 头图 | 下载于视觉中国 韩信点兵的成语来源淮安民间传说.常与多多益善搭配,寓意越多越好.我们来看下主公刘邦和韩信大将军的对话. 刘邦:"你觉得我 ...
- 优秀!一鼓作气学会“一致性哈希”,就靠这 18 张图了
前言 当架构师大刘看到实习生小李提交的记账流水乱序的问题的时候,他知道没错了:这一次,大刘又要用一致性哈希这个老伙计来解决这个问题了. 嗯,一致性哈希,分布式架构师必备良药,让我们一起来尝尝它. 1. ...
最新文章
- STM8不用手动复位进入自带Bootloader方法(串口下载)
- python打包exe os模块_python打包成exe格式的方法求教
- mysql使字段自增_Mysql设置自增字段的方法
- matlab save将变量值保存为mat
- android 字体颜色选择,Android中颜色选择器和改变字体颜色的实例教程
- Java程序性能优化10
- java 中hashcode 与 equals的关系
- ASP.NET的App_Code中放置不同语言编写的类
- Java-控制台接受用户输入数据的方法
- oracle读写文件--利用utl_file包对磁盘文件的读写操作
- pat编程语言_浙江大学在线pat题库集合
- 从需求出发来看关系模型与非关系模型–时代的变革
- JAVA 编程 练习题
- 更好的 java 重试框架 sisyphus 配置的 2 种方式介绍
- python的多元数据类型(上)
- 大型电商平台设计实例:电商平台总体设计和业务模型设计
- 待过猫厂、狗厂、鹅厂、猪厂的10年测试码农告诉你-测试计划与测试方案的区别?
- win7系统计算机文件夹缓慢,windows7搜索文件非常慢的解决办法以及优化方法
- 2010年中国十大虚拟主机服务商排行榜(转)
- 第五章 数组Ivor Horton