分布式系统

分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间通过消息传递进行通信和协调的系统

特点

• 分布性
• 对等性
• 并发性
• 缺乏全局时钟
• 故障总会发生

问题

• 通信异常
• 网络分区(脑裂)
• 三态
• 节点故障

分布式系统--CAP定理

• 一致性 (Consistency)
• 可用性(Availability)
• 分区容错性( Partition tolerance)

这三个不能同时保证

一致性和可用性平衡方案
最终一致性

ZOOKEEPER

简介

开源的针对大型分布式系统的可靠协调系统
设计目标:将负责切容易出错的分布式一致性服务分装起来,构成一个搞笑的原语集,并已简单易用的接口提供给用户使用.
提供功能: 发布/订阅 分布式协调/通知,配置管理,集群管理,主从协调,分布式锁

特性

• 最终一致性
  保证最终数据能搞达到一致.
• 顺序性
  从同一个客户端发起的事务请求,最终会严格的按照其发送的顺序被应用到Zookeeper中
• 可靠性
  一旦服务器成功的应用一个事务,并完成了客户端的响应,name该事务所引起的服务端状态变更会一致保留下去
• 实时性
  zookeeper不能保证两个客户端同时得到刚刚更新的数据,可在读数据之前调用sync()接口
• 原子性
  一次数据更新,要么成功,要么失败
• 单一视图
  无论客户端连接到哪个服务器,看到的数据模型都是一致的

ZOOKEEPER架构

image.png

zookeeper角色

• Leader(领导者)
  更新系统状态,处理事务请求,负责进行投票的发起和决议
• Follower(更随者)
  处理客户端非事务请求,并向客户端返回结果,将事务请求转发给Leader,同步Leader状态,选主过程中参与投票
• Observer
  接收客户端请求,将客户端写请求转发给Leader,不参与投票过程,只同步Leader状态,目的是为了扩展系统,提高读取速度
• Client
  请求发起方

Observer
3.3.0 以后 版本新增角色Observer
增加原因：

• Zookeeper需保证高可用和强一致性；
  当集群节点数目逐渐增大为了支持更多的客户端，需要增加更多Server，然而Server增多，投票阶段延迟增大，影响性能。为了权衡伸缩性和高吞吐率，引入

Observer：
Observer不参与投票.
Observers接受客户端的连接，并将写请求转发给leader节点.
加入更多Observer节点，提高伸缩性，同时不影响吞吐率.

zookeeper 写入

• 数据写入最终一致性核心算法ZAB算法.
• Leader 负责处理写事务

• Follower负责向Leader 转发写请求,响应Leader发出的提议

  
  

1. CLient向Follower提交写事务请求
2. Follower接收到写请求,然后把写请求转发给Leader
3. Leader收到写请求后,生成全局事务Id(ZXID),将事务Id与事务请求绑定在一起,组成一个消息体,然后放入队列,发送给Follower
4. Follower 接收到写请求后,先以日志的形式写在本地,然后返回一个确认消息给Leader
5. 当超过半数的Follower接收成功后,Leader发起一个提交事务通知,通知Follower提交事务.

zookeeper选举

服务器的4中状态:

• LOOKING : 寻找Leader状态,处于该状态需要进入选举流程
• LEADING : 领导者状态,表明当前角色为Leader
• FOLLOWING: 跟随者,Leader已经选举出来,表明当前服务角色为Follower
• OBSERVER: 观察者状态, 表明当前服务角色为Observer

事务ID:
ZXID表示,64位数字,由Leader统一分配,全局唯一,不断递增

全新启动期间选举

1. 每个Server发出一个投票,内容为(myid,ZXID)
2. 接收来自各个Server的投票
3. 处理投票
4. 统计投票

5. 改变服务器状态

   
   

运行期间选举

1. 所有Server切换为LOOKING,每个Server发出一个投票,内容为(myid,ZXID)
2. 接收来自各个Server的投票
3. 处理投票
4. 统计投票

5. 改变服务器状态

   
   

zookeepers数据模型ZNode

• zookeeper特有的数据节点znode,视图结构类似Linux的文件系统,没有目录和文件的概念
• Znode是zookeeper中数据最小单元
• znode上可以保存数据,通过挂载子节点构成一个树状的层次化空间

• znode从 '/'开始

  
  

节点类型

节点类型:

• 持久节点
• 临时节点
• 顺序节点

组合节点类型

• 持久节点
• 持久顺序节点
• 临时节点
• 临时顺序节点

版本

版本类型

• dataVersion : 当前数据节点内容的版本号
• CVersion: 当前数据节点子节点的版本号
• aVersion: 当前数据节点ACL权限变更版本号

保证分布式数据原子性

• 悲观锁
• 乐观锁

Znode-状态

Znode-Watcher机制

http://blog.csdn.net/yinwenjie/article/details/47685077

应用场景

统一命名服务:

• 分布式环境中统一命名
• 按照层次结构组织服务/应用名称

• 全局唯一ID

  
  

配置管理:

集群管理:

分布式锁:

分布式队列: