一、Paxos是什么?

Paxos,它是一个基于消息传递的一致性算法,Leslie Lamport在1990年提出,近几年被广泛应用于分布式计算中,Google的Chubby,Apache的Zookeeper都是基于它的理论来实现的,Paxos还被认为是到目前为止唯一的分布式一致性算法,其它的算法都是Paxos的改进或简化。有个问题要提一下,Paxos有一个前提:没有拜占庭将军问题。就是说Paxos只有在一个可信的计算环境中才能成立,这个环境是不会被入侵所破坏的。

那么拜占庭将军问题(Byzantine Generals Problem)是什么呢?

1982年,Leslie Lamport发表了名为《The Byzantine Generals Problem》 的论文,描述了拜占庭将军投票问题,借以映射分布式系统中计算机通信容错问题。

一组拜占庭将军分别各率领一支军队共同围困一座城市。为了简化问题,将各支军队的 行动策略限定为进攻或撤离两种 。因为部分军队进攻部分军队撤离可能会造成灾难性后果,因此各位将军 必须通过投票来达成一致策略 ,即所有军队一起进攻或所有军队一起撤离。因为各位将军分处城市不同方向,他们只能通过 信使 互相联系。在投票过程中每位将军都将自己投票给进攻还是撤退的信息通过信使分别通知其他所有将军,这样一来每位将军根据自己的投票和其他所有将军送来的信息就可以知道共同的投票结果而决定行动策略。

投票系统的问题在于, 军队中可能存在叛徒和敌军的间谍 ,左右将军们的决定又扰乱整体军队的秩序。这时候在已知有成员可能不可靠的情况下,其他忠诚的将军如何在不受叛徒和间谍影响的情况下意见达成一致,这就是拜占庭将军问题。

拜占庭将军问题是对分布式系统的模型化,将军是计算机,信使则是通信系统,由于硬件错误或者恶意攻击等,计算机和网络可能会出现拜占庭将军问题。

二、Paxos描述了这样一个场景:

1、有一个叫做Paxos的小岛(Island)上面住了一批居民,岛上面所有的事情由一些特殊的人决定,他们叫做 议员 (Senator)。
2、议员的 总数 (SenatorCount)是 确定 的,不能更改。
3、岛上每次环境事务的变更都需要通过一个提议(Proposal), 每个提议都有一个编号 (PID),这个编号是 一直增长 的,不能倒退。
4、每个提议都需要 超过半数 ((SenatorCount)/2+1)的议员同意才能生效。
5、每个议员只会同意大于当前编号的提议,包括已生效的和未生效的。
6、如果议员收到小于等于当前编号的提议,他会拒绝,并告知对方:你的提议已经有人提过了。这里的当前编号是每个议员在自己记事本上面记录的编号,他不断更新这个编号。整个议会不能保证所有议员记事本上的编号总是相同的。
现在议会有一个目标:保证所有的议员对于提议都能达成一致的看法。

三、Paxos运作过程

1、现在议会开始运作,所有议员一开始记事本上面记录的编号都是0。
2、有一个议员发了一个提议:将电费设定为1元/度。
(1)他首先看了一下记事本,当前提议编号是0,那么我的这个提议的编号就是1,于是他给所有议员发消息:1号提议,设定电费1元/度。

(2)其他议员收到消息以后查了一下记事本,当前提议编号是0,这个提议可接受,于是他记录下这个提议并回复:我接受你的1号提议,同时他在记事本上记录:当前提议编号为1。

(3)发起提议的议员收到了超过半数的回复,立即给所有人发通知:1号提议生效!收到的议员会修改他的记事本,将1好提议由记录改成正式的法令,当有人问他电费为多少时,他会查看法令并告诉对方:1元/度。
3、让我们来看看 冲突的解决

(1)假设总共有三个议员S1-S3,S1和S2同时发起了一个提议:1号提议,设定电费。

(2)S1想设为1元/度, S2想设为2元/度。

(3)结果S3先收到了S1的提议,于是他做了和前面同样的操作。

(4)紧接着他又收到了S2的提议,结果他一查记事本,咦,这个提议的编号小于等于我的当前编号1,于是他拒绝了这个提议:对不起,这个提议先前提过了。

(5)于是S2的提议被拒绝,S1正式发布了提议: 1号提议生效。

(6)S2向S1或者S3打听并更新了1号法令的内容,然后他可以选择继续发起2号提议。

四、ZK里面Paxos是如何运作的呢?

1、现在让我们来对号入座,看看在ZK Server里面Paxos是如何得以贯彻实施的。

小岛(Island)——ZK Server Cluster

议员(Senator)——ZK Server

提议(Proposal)——ZNode Change(Create/Delete/SetData…)

提议编号(PID)——Zxid(ZooKeeper Transaction Id)

正式法令——所有ZNode及其数据

2、貌似关键的概念都能一一对应上,但是等一下,Paxos岛上的议员应该是人人平等的吧,而ZK Server好像有一个 Leader 的概念。没错,其实Leader的概念也应该属于Paxos范畴的。

如果议员人人平等,在某种情况下会由于提议的冲突而产生一个“活锁”(所谓活锁我的理解是大家都没有死,都在动,但是一直解决不了冲突问题)。Paxos的作者Lamport在他的文章” The Part-Time Parliament “中阐述了这个问题并给出了解决方案——在所有议员中设立一个总统,只有总统有权发出提议,如果议员有自己的提议,必须发给总统并由总统来提出。好,我们又多了一个角色: 总统

总统——ZK Server Leader

3、总统怎么选举呢?

完成的协议包含了一个选举唯一的发起表决的议员的过程,这个议员称为president(总统)。在多数形式的政府中,选举一个总统是困难的,因为大多数政府都要求在任何时刻只能有唯一的一个总统。比如在美国,如果一些人认为Bush已经被选为总统,而另一些人认为Dukakis才是总统就会造成混乱,因为其中某个总统可能会签署某个法令而另一个总统不赞成该法令。在Paxon圣会,拥有多个总统只是会阻碍可进展性,并不会引起不一致的情况。为了满足可进展性,选举唯一总统的方法只需要满足presidential selection requirement:

“如果没有人进出会议室,那么在T分钟之后,会议室中的牧师可以认为自己是总统。”

如果总统的选举条件被满足,那么完整的协议将保证,如果多数派议员在会议室中且T+99分钟内没有人进入或离开会议室,在这样一个周期结束时,会议室中的每个议员的律簿上都会增加一条法令。

Paxon公民按照议员名字的字典序来选择成为总统的议员。presidential selection requirement会被满足,如果议员没T-11分钟发送一次包含他名字的消息给其他的议员,如果他T分钟内没有收到更高级别的名字的消息,那么他认为自己是总统。

通过要求基础协议中的议员快速的执行步骤(2)-(6),并且增加一个选举总统用于发起表决的方法,要求总统在合适的时机发起表决来得到完整的协议。更多的协议细节还不清楚,以上只是简单的描述了选举总统的办法和总统发起表决的时机。

但显然这不是Paxons公民所使用的办法。我给出的规则要求在一个法令被选出后总统需要继续发起表决,以让刚进入会议室的议员能知道被选中的法令。显然还有更好的办法让刚进入会议室的议员学习被选中的法令。另外,在挑选总统时,每个议员可以发送lastTried[p]给其他议员,以便于总统在第一次发起表决时能选择一个足够大的表决编号。

Paxons的公民意识到,任何涉及到进展性的条件都需要测量时间的推移。在拥有精准计时器的前提下,上面描述的总统选举和表决的发起都可以通过超时的方式被描述为准确的算法。更详细的分析表明,这种算法可以在时间有精准性边界的情况下工作。Paxons上熟练的工匠可以造出满足精度要求的沙漏。

4、选举好总统之后,来看看ZK Sever是怎么实施的。

情况一:

屁民甲(Client)到某个议员(ZK Server)那里询问(Get)某条法令的情况(ZNode的数据),议员毫不犹豫的拿出他的记事本(local storage),查阅法令并告诉他结果,同时声明:我的数据不一定是最新的。你想要最新的数据?没问题,等着,等我找总统Sync一下再告诉你。

情况二:

屁民乙(Client)到某个议员(ZK Server)那里要求政府归还欠他的一万元钱,议员让他在办公室等着,自己将问题反映给了总统,总统询问所有议员的意见,多数议员表示欠屁民的钱一定要还,于是总统发表声明,从国库中拿出一万元还债,国库总资产由100万变成99万。屁民乙拿到钱回去了(Client函数返回)。

情况三:

总统突然挂了,议员接二连三的发现联系不上总统,于是各自发表声明,推选新的总统,总统大选期间政府停业,拒绝屁民的请求。

参考文章:

1. https://blog.csdn.net/cxhzqhzq/article/details/6568040

2. https://www.cnblogs.com/hzmark/p/The_Part-Time_Parliament.html

唯有热爱方能抵御岁月漫长。

Paxos算法的一个简单小故事相关推荐

  1. 【算法】一个简单的K近邻(KNN)原理

    基本思想 用距离目标样本最近的K个样本类别的众数来代表目标样本的类别. 近朱者赤近墨者黑. 构建方法 计算新样本与所有已知样本的距离,并进行排序,计算和存储成本较大,可采用"分枝定界&quo ...

  2. 标题相似度算法_一个简单的计算文章相似度功能!

    在做文章系统的时候,很多时候需要为这篇文章推荐最相近的文章. 解决思路是:给文章设定关键词然后模糊查询进行匹配.找到包含这个关键词的标题,然后给显示出来,作为最接近的文章. 但是有问题:这样的文章,排 ...

  3. java一个简单小算法,求随机帽子价格去重排序

    度度熊想去商场买一顶帽子,商场里有 N 顶帽子,有些帽子的价格可能相同.度度熊想买一顶价格第三便宜的帽子,问第三便宜的帽子价格是多少? 输入描述: 首先输入一个正整数 N(N <= 50),接下 ...

  4. 【算法】一个简单的支持向量机(SVM)原理

    基本思想: 首先通过非线性变换将输入空间变换到高维空间,然后在这个新空间求最优分类面即最大间隔分类面,其中通过采用核函数作为内积,间接实现了对特征的非线性变换,因此避开了在高维空间进行计算. 决策过程 ...

  5. ExpandableListView用法的一个简单小例子

    喜欢显示好友QQ那样的列表,可以展开,可以收起,在android中,以往用的比较多的是listview,虽然可以实现列表的展示,但在某些情况下,我们还是希望用到可以分组并实现收缩的列表,那就要用到an ...

  6. 用C++写一个简单小病毒(零基础奶妈级教学,不可能学完还不懂)

    相信大家都玩过这样的一个批处理代码吧 :1 start cmd goto 1 把这些代码复制去一个txt文件,然后更改后缀为.bat 或.cmd,就可以实现弹窗炸弹 但是,作为一个病毒,这个简单恶搞代 ...

  7. 矩阵的卷积核运算(一个简单小例子的讲解)深度学习

    卷积运算:假设有一个卷积核h,就一般为3*3的矩阵: 有一个待处理矩阵A: h*A的计算过程分为三步 第一步,将卷积核翻转180°,也就是成为了 第二步,将卷积核h的中心对准x的第一个元素,然后对应元 ...

  8. 【算法】一个简单的ISODATA原理

    基本思想 是一种改进的k-menas算法,在聚类过程中引入对类别的评判标准,根据标准自动对某些类别进行合并或分裂,在一定程度上突破对于给定类别数的限制 该算法能够在聚类过程中根据各个类所包含样本的实际 ...

  9. 【算法】一个简单的k均值(k-means)原理

    基本思想 通过迭代寻找k个聚类的一种划分方案,使用这k个聚类的均值来代表相应各类样本时所得到的总体误差最小. 一旦给定了类别数目k,k均值就按照平方误差和最小的原则将所有样本划分到指定数目的类中. k ...

  10. 每天一个医药小故事②神农和药王

    目录 前言 正文 总结 前言 作为一个程序员,不甘于现状,因高考志愿填了学医和计算机,哪知道录上了计算机,没录上医学专业.         虽已毕业多年,但平时喜收集医学故事,来科普自己,也可作为崽崽 ...

最新文章

  1. c语言作业扩展名通常为什么,C语言的源程序通常的扩展名是( )
  2. oracle+块头csc,数据块转储及RDBA的转换
  3. windows启动管理器_win7系统任务管理器的五种打开方式,很实用,学习一下
  4. html简介及常用标签
  5. xml解析 只有节点属性 android,and android:解析xml,一个节点标签中,有多个属性,怎样解析?...
  6. page cache 与free
  7. 【Swift学习】Swift编程之旅---ARC(二十)
  8. host 'xx' is not allowed to connect to this MySql server
  9. 动态路由协议_动态路由协议的类别
  10. 第一章 —— 简单工厂模式(节选自:《大话设计模式》)
  11. C++ 解引用操作符重载
  12. surface远程登录桌面字小_office365账号赠送(office桌面版+5Tonedrive)
  13. linux下c语言版线程池
  14. MEMZ病毒详细分析
  15. 单片机定时器实验报告C语言,51单片机定时器实验报告.doc
  16. excel如何晒出重复数据_excel怎么查找重复的内容 excel重复数据怎么筛选出来
  17. 用DEV-C++写一个走迷宫小游戏1.2最终版(完结,撒花)
  18. vbs或vbe如何修改图标
  19. cmyk列印颜色_列印
  20. 树莓派 外接HDMI线显示屏分辨率设置

热门文章

  1. Express全系列教程之(六):cookie的使用
  2. 2018智能计算机系统院士论坛,计算机学院成功举办“机器人与服务智能”高峰论坛(DEA 2018)...
  3. echart表格颜色设置
  4. 配置HRFormer:High-Resolution Transformer for Dense Prediction条件
  5. Hybrid LSTM and Encoder-Decoder Architecturefor Detection of Image Forgeries的复现梳理
  6. 前端实现打印功能(纯前端实现)
  7. 【填空题】130道面试填空题
  8. 《机器学习实战》 自制勘误表 中文版第一版2015年9月第11次印刷版
  9. 【ML特征工程】第 6 章 :降维:用 PCA 压缩数据薄饼
  10. “朋友”两个字好辛苦