美文网首页大数据Paxos
1. PhxPaxos源码分析之关于PhxPaxos

1. PhxPaxos源码分析之关于PhxPaxos

作者: 随安居士 | 来源:发表于2017-11-13 11:42 被阅读178次

    目录
    1. PhxPaxos源码分析之关于PhxPaxos
    2. PhxPaxos分析之网络基础部件
    3. PhxPaxos源码分析之Proposer、Acceptor
    4. PhxPaxos源码分析之Learner
    5. PhxPaxos源码分析之状态机
    6. PhxPaxos源码分析之归档机制
    7. PhxPaxos源码分析之整体架构


    注:本章主要内容截取自github phxpaxos官方介绍

    1.1 关于phxpaxos

    PhxPaxos是腾讯公司微信后台团队自主研发的一套基于Paxos协议的多机状态拷贝类库。它以库函数的方式嵌入到开发者的代码当中, 使得一些单机状态服务可以扩展到多机器,从而获得强一致性的多副本以及自动容灾的特性。 这个类库在微信服务里面经过一系列的工程验证,并且我们对它进行过大量的恶劣环境下的测试,使其在一致性的保证上更为健壮。

    1.2 特性

    • 基于Lamport的 Paxos Made Simple 进行工程化,不进行任何算法变种。
    • 使用基于消息传递机制的纯异步工程架构。
    • 每次写盘使用fsync严格保证正确性。
    • 一次Propose(写入数据)的Latency为一次RTT,均摊单机写盘次数为1次。
    • 使用点对点流式协议进行快速学习。
    • 支持Checkpoint以及对PaxosLog的自动清理。
    • 支持跨机器的Checkpoint自动拉取。
    • 一个PhxPaxos实例可以同时挂载多个状态机。
    • 可使用镜像状态机模式进行Checkpoint的自动生成。
    • 内置Master选举功能。
    • 线上数据的实时增量checksum校验。
    • 网络、存储、监控、日志模块插件化,可由开发者自定义。
    • 基于Paxos算法的安全的成员变更。
    • 基于Paxos算法的集群签名保护,隔离非法签名的错误机器。
    • 自适应的过载保护。

    1.3 局限

    • 一个PhxPaxos实例任一时刻只允许运行在单一进程(容许多线程)。
    • 这个类库没有内建对client-server的支持,开发者必须将类库的代码嵌入到自己的服务器代码里面,以实现这个功能。
    • PhxPaxos只容许运行在64位的Linux平台。

    1.4 总结

    PhxPaxos是Paxos的工程化实现。除了实现Paxos算法之外,还做了很多工程优化,包括性能(RTT、本地落盘次数等)、基础部件插件化等。

    本系列章节将深入分析PhxPaxos的各个部分,从网络基础部件讲起,分析paxos的算法实现、checkpoint机制,最后从更高层上阐述phxpaxos的架构实现。本系列文章将覆盖“1.1 特性”中描述的所有特性。

    本文基于 phxpaxos v1.1.2。


    [1] Leslie Lamport. Paxos made simple. 2001.11.01
    [2] 随安居士. Paxos made simple 释译. 2017.03.09
    [3] 微信后台团队. 微信自研生产级paxos类库PhxPaxos实现原理介绍. 2016.06.22


    【转载请注明】随安居士. 1. PhxPaxos源码分析之关于PhxPaxos. 2017.11.13

    相关文章

      网友评论

        本文标题:1. PhxPaxos源码分析之关于PhxPaxos

        本文链接:https://www.haomeiwen.com/subject/ufrhmxtx.html