一致 Hash 算法
当我们在做数据库分库分表或者是分布式缓存时,不可避免的都会遇到一个问题:
如何将数据均匀的分散到各个节点中,并且尽量的在加减节点时能使受影响的数据最少。
Hash 取模
随机放置就不说了,会带来很多问题。通常最容易想到的方案就是 hash 取模
了。
可以将传入的 Key 按照 index = hash(key) % N
这样来计算出需要存放的节点。其中 hash 函数是一个将字符串转换为正整数的哈希映射方法,N 就是节点的数量。
这样可以满足数据的均匀分配,但是这个算法的容错性和扩展性都较差。
比如增加或删除了一个节点时,所有的 Key 都需要重新计算,显然这样成本较高,为此需要一个算法满足分布均匀同时也要有良好的容错性和拓展性。
一致 Hash 算法
一致 Hash 算法是将所有的哈希值构成了一个环,其范围在 0 ~ 2^32-1
。如下图:
之后将各个节点散列到这个环上,可以用节点的 IP、hostname 这样的唯一性字段作为 Key 进行 hash(key)
,散列之后如下:
之后需要将数据定位到对应的节点上,使用同样的 hash 函数
将 Key 也映射到这个环上。
这样按照顺时针方向就可以把 k1 定位到 N1节点
,k2 定位到 N3节点
,k3 定位到 N2节点
。
容错性
这时假设 N1 宕机了:
依然根据顺时针方向,k2 和 k3 保持不变,只有 k1 被重新映射到了 N3。这样就很好的保证了容错性,当一个节点宕机时只会影响到少少部分的数据。
拓展性
当新增一个节点时:
在 N2 和 N3 之间新增了一个节点 N4 ,这时会发现受印象的数据只有 k3,其余数据也是保持不变,所以这样也很好的保证了拓展性。
虚拟节点
到目前为止该算法依然也有点问题:
当节点较少时会出现数据分布不均匀的情况:
这样会导致大部分数据都在 N1 节点,只有少量的数据在 N2 节点。
为了解决这个问题,一致哈希算法引入了虚拟节点。将每一个节点都进行多次 hash,生成多个节点放置在环上称为虚拟节点:
计算时可以在 IP 后加上编号来生成哈希值。
这样只需要在原有的基础上多一步由虚拟节点映射到实际节点的步骤即可让少量节点也能满足均匀性。
一致 Hash 算法相关推荐
- 一致性 hash 算法( consistent hashing )
原文地址:http://blog.csdn.net/sparkliang/article/details/5279393 consistent hashing 算法早在 1997 年就在论文 Cons ...
- 区块链笔记-Hash算法
链客,专为开发者而生,有问必答! 此文章来自区块链技术社区,未经允许拒绝转载. 区块链笔记-Hash算法 区块链技术是一系列技术的结合,建立新的技术架构,hash算法是很重要的一块,如果理解不当的地方 ...
- 区块链概念:Hash 算法
链客,专为开发者而生,有问必答! 此文章来自链客区块链技术问答社区,未经允许拒绝转载. 区块链概念1:Hash 算法 作用在学习哈希算法前,我们需要知道哈希在区块链的作用哈希算法的作用如下:区块链通过 ...
- 一致性 Hash 算法的实际应用
前言 记得一年前分享过一篇<一致性 Hash 算法分析>,当时只是分析了这个算法的实现原理.解决了什么问题等. 但没有实际实现一个这样的算法,毕竟要加深印象还得自己撸一遍,于是本次就当前的 ...
- 不会一致性hash算法,劝你简历别写搞过负载均衡
这两天看到技术群里,有小伙伴在讨论一致性hash算法的问题,正愁没啥写的题目就来了,那就简单介绍下它的原理.下边我们以分布式缓存中经典场景举例,面试中也是经常提及的一些话题,看看什么是一致性hash算 ...
- 用人话理解hash算法、特性、唯一性等
背景 博主在本科的时候曾经参加过数学建模,当初提交参赛论文的时候有两个提交时间点,第一个是提交MD5码的时间,第二个是提交具体参赛论文的时间,当初就很纳闷,直接提交论文不就ok吗?为什么多此一举呢 我 ...
- 什么是一致性 Hash 算法
数据分片 先让我们看一个例子吧 我们经常会用 Redis 做缓存,把一些数据放在上面,以减少数据的压力. 当数据量少,访问压力不大的时候,通常一台Redis就能搞定,为了高可用,弄个主从也就足够了: ...
- hash算法_一致性hash算法简介
一致性hash算法有什么用?我们为什么需要一致性hash算法?这两个问题的答案可以看这篇文章 分布式系统路由算法简介. 了解了一致性hash算法出现的背景,我们来看看什么是一致性hash算法.一致性h ...
- 一致性Hash算法(KetamaHash)的c#实现
Consistent Hashing最大限度地抑制了hash键的重新分布.另外要取得比较好的负载均衡的效果,往往在服务器数量比较少的时候需要增加虚拟节点来保证服务器能均匀的分布在圆环上.因为使用一般的 ...
- MurmurHash算法:高运算性能,低碰撞率的hash算法
MurmurHash算法:高运算性能,低碰撞率,由Austin Appleby创建于2008年,现已应用到Hadoop.libstdc++.nginx.libmemcached等开源系统.2011年A ...
最新文章
- git切换ssh和http协议
- vs2010连接mongodb服务器,X64位
- 人工智能:第七章 机器学习
- POJ 3041 Asteroids (对偶性,二分图匹配)
- vue 引入qunee_Vue页面中js引入的问题
- Java代码中的注释详解
- Shiro笔记(四)编码/加密
- 数学分析:集合的基本概念
- 中关村-DIY操作系统之替换DV2804恢复分区中的wim镜像
- 计算机无法找到wifi,笔记本无线网络找不到,教您怎么解决笔记本找不到无线网络...
- 安卓AndroidStudio设计计算器实现简单的计算
- ih5语言叫html5,iH5最专业的H5制作工具
- 图片报道:2008年12月4日夜,暴风雪突袭烟台(下)
- (UTF-8)ASP汉字转拼音函数(附Access数据库)
- mysql association_mybatis 一对一与一对多collection和association的使用
- 研究生宿舍大盘点!令人羡慕的研究生宿舍来了!
- 选择适合的Silverlight通信技术
- 【Matlab】用程序制作简单音乐
- DALSA相机参数文件配置
- Enhancements of V2X Communication in Support of Cooperative Autonomous Driving (支持协同自动驾驶场景的V2X通信增强)
热门文章
- Python3 property属性
- SharePoint PowerShell命令系列 (9) New-SPWeb
- 关于Discuz X2 论坛备份详解(论坛搬家)
- Nginx 学习笔记(四) Nginx+keepalived
- 4月份不良与垃圾信息举报:垃圾邮件占37.4%
- linux shell 中 printf 与 echo的区别
- CMFCTabCtrl的使用
- 吴恩达深度学习课程deeplearning.ai课程作业:Class 2 Week 2 Optimization methods
- php 同步代码,PHP进程同步代码实例
- 超出网络bios会话限制_?老旧BIOS说再见,拯救者系列设置超简单