美文网首页
Paxos学习

Paxos学习

作者: 链人成长chainerup | 来源:发表于2019-09-15 22:30 被阅读0次

本文是《循序渐进分布式一致性算法》第一篇-paxos。写这一篇也是有些战战兢兢。自己只是看了一些文章跟部分源码实现,简单总结一下自己学习之后的理解,以及学习过程中用到的一些资料。如有不对,请指出。
写本文之前,我在构思按照什么思路进行展开。 想了好几个,最终按照 “如果面试官让你介绍paxos,你会怎么讲?” 这个思路展开。如下几点讲解:

paxos 为了解决什么问题
paxos之前有没有一些其他方案?
为什么非要paxos?
paxos 算法内容
paxos 的工程实现

1 paxos 为了解决什么问题

Paxos 算法的目的就是确定分布式系统中的一个不可变变量的值。并且一旦确定,将不再更改,并且可以被获取到。

我们想一下,在分布式系统中,为了达成上述要求,应该要解决那些问题呢?

  • 系统有多个存储的节点,这些节点之间的数据要保持一致。
  • 系统有多个写入的节点,这些写入的节点会存在并发,如何确定由哪个节点写入?
  • 多个写入节点可能会出现故障
  • 多个存储节点也可能出现故障,但是要保证半数以上的存储节点是可用并且值是一致的。

(存储跟决定选择哪个数据的节点在paxos中叫acceptor, 写入的节点称作 proposer)

2 paxos之前有没有一些其他方案?

针对上面提到的几个问题,我们想一下几个特殊场景的解决方案。

2.1 one acceptor multi proposer --互斥锁

我们可以让多个proposer去争夺互斥锁来决定,谁来写入。那么这个锁的决定权有acceptor决定。这样就解决了多个proposer并发的问题。
这种方案会有问题吗?
比如一个proposer抢到了锁,但是在执行第二阶段实际写入数据(后面paxos中称之为提议阶段)阶段,这个proposer 挂了,那么这就悲剧了,因为这个proposer抢到了锁但是不能写入,而其他proposer又抢不到锁,系统就悲剧了。这种方案不允许proposer故障。

2.2 one acceptor , multi proposer--抢占式

通过引入抢占式访问权,acceptor可以让某个proposer获取到的访问权失效,之后将访问权发放给其他proposer。

2.2.1 acceptor

存储了两种状态
(1)当前var的取值 (accepted_epoch, accepted_value)
其中accepted_epoch 就是 proposer的编号, accepted_value 是已经被确认的值。
(2)最新发放访问权的epoch(latest_prepared_epoch) 就是当前接收到的最大的proposer的编号。
prepare阶段需要做的事情
只接收比latest_prepared_epoch更大的proposer的编号;
记录当前的latest_prepared_epoch = 更大的proposer的编号, 但是var 是返回当前的值(这样保证了“后者认同前者”)。
accept阶段需要做的事情
验证latest_prepared_epoch = prepared_epoch;
设置 (accepted_epoch, accepted_value) = (prepared_epoch, v)。

2.2.2 proposer

第一阶段需要做的事情
获取epoch轮次的访问权以及当前确定的var的取值。

第二阶段需要做的事情
采用“后者认同前者”的原则。
怎么讲?
如果prepare阶段返回的var为空,则肯定旧的epoch无法生成确定性取值,则提交自己的V值。
如果var值存在,则此取值肯定是确定性取值,此时认同它,不再更改,直接使用这个值。

这个场景下,已经很好地解决了场景2.1 的问题,那么如果多个acceptor呢?
那就采用paxos吧。

3 paxos- multi acceptor , multi proposer.

3.1 Acceptor

在2.2的基础上,支持了多acceptor. paxos采用了“少数服从多数”的原则,一旦某epoch 的取值f 被半数以上的acceptor接受,则认为此var取值被确定为f,不再更改。

3.2 Proposer

3.2.1 第一阶段

选定epoch,获取epoch访问权和对应的var取值。必须半数以上的accepor同意。

3.2.2 第二阶段

采用“后者认同前者”的原则执行。

  • 如果var为空,则使用proposer自己的V,如果得到半数以上的acceptor统一,则OK。 如果失败,则返回error, 重新进入prepare阶段。
  • 如果var不为空,认同最大accepted_epoch对应的取值f, 努力使<当前epoch, f > 成为确定性取值。

4 paxos 算法内容

先给个结论(来自维基百科):

通过一个决议分为两个阶段:

  • prepare阶段:
    proposer选择一个提案编号n并将prepare请求发送给acceptors中的一个多数派;
    acceptor收到prepare消息后,如果提案的编号大于它已经回复的所有prepare消息(回复消息表示接受accept),则acceptor将自己上次接受的提案回复给proposer,并承诺不再回复小于n的提案;
  • 批准阶段:
    当一个proposer收到了多数acceptors对prepare的回复后,就进入批准阶段。它要向回复prepare请求的acceptors发送accept请求,包括编号n和根据P2c决定的value(如果根据P2c没有已经接受的value,那么它可以自由决定value)。
    在不违背自己向其他proposer的承诺的前提下,acceptor收到accept请求后即批准这个请求。

再来个图:

paxos.png
参考自: http://codemacro.com/2014/10/15/explain-poxos/

5 paxos 的工程实现

微信开源的phxpaxos:https://github.com/Tencent/phxpaxos

一个简版的go paxos实现: https://github.com/zhanglvmeng/paxos

6 总结

本文参考知行学社的视频讲解,从paxos能解决什么问题,特殊场景下的解决方案,最后引出了paxos。 然后讲解了paxos的算法内容,最后罗列了两个工程上的实现。希望对你有所帮助~

7 参考文献

看过讲解paxos 最经典的中文视频了: https://www.bilibili.com/video/av36134550/?spm_id_from=333.788.videocard.6
这是我整理的视频笔记: https://pan.baidu.com/s/1Gl1tgbffWXu0fcJ0HVykDg
图解分布式一致性协议Paxos http://codemacro.com/2014/10/15/explain-poxos/
维基百科的paxos https://zh.wikipedia.org/wiki/Paxos%E7%AE%97%E6%B3%95#%E5%AE%9E%E4%BE%8B

8 其他

本文是《循序渐进分布式一致性算法》的第一篇-《paxos》。
如果有疑问,可以直接留言,也可以关注公众号 “链人成长chainerup” 提问留言,或者加入知识星球“链人成长”~

相关文章

  • Paxos学习

    本文是《循序渐进分布式一致性算法》第一篇-paxos。写这一篇也是有些战战兢兢。自己只是看了一些文章跟部分源码实现...

  • Paxos算法与Zab算法知识点整理

    最近在学习关于一致性算法的相关知识,重点学习了Paxos算法以及Zab协议。Paxos算法是Lamport提出来的...

  • paxos学习笔记

    Paxos是分布式系统中的经典的一致性协议,之前在学习zookeeper时第一次接触到,不过当初并没明白这个有点绕...

  • 算法学习计划

    paxos经典论文 paxos维基百科 https://en.wikipedia.org/wiki/Paxos_(...

  • zookeeper 入门系列 – 理论基础 – zab 协议

    上一章讨论了paxos算法,把paxos推到一个很高的位置。但是,paxos有没有什么问题呢?实际上,paxos还...

  • 分布式一致性算法——Paxos

    分布式一致性算法——Paxos Paxos分析 Paxos算法是莱斯利·兰伯特(Leslie Lamport)19...

  • Paxos Raft学习笔记

    最近在学习zk,因而顺道学习一下paxos和raft,没有看英文论文,直接看的书和网上的译文,看的一塌糊涂,pax...

  • Paxos协议学习笔记

    问题: 基于消息传递通信模型的分布式系统,不可避免的会发生以下错误:进程可能会慢、被杀死或者重启,消息可能会延迟、...

  • 分布式一致性算法

    paxos paxos use in mesos http://mesos.apache.org/document...

  • Paxos算法

    Basic-Paxos算法(可以先看后面的实际例子再看前面的具体介绍部分) Paxos算法的目的 Paxos算法的...

网友评论

      本文标题:Paxos学习

      本文链接:https://www.haomeiwen.com/subject/evugyctx.html