美文网首页
简述分布式文件系统

简述分布式文件系统

作者: 任总 | 来源:发表于2019-03-03 18:58 被阅读0次

一、概述

1、 分布式系统定义

是一个硬件或软件组件分布在网络中的不同的计算机之上,彼此间仅通过消息传递进行通信和协作的系统。

2、特征:

分布性、对等性、并发性、缺乏全局时钟、故障必然会发生

3、典型问题:

通信异常、网络分区、三态(成功、失败、超时)三种状态转换、节点故障

二、什么是CAP定理

  • 2000年7月份, 加州大学伯克利分校的Eric Brewer, 在ACM PODC这个杂志上首次提出CAP定理的猜想,到了2002年,来自麻省理工学院的Seth Gilbert和Nancy Lynch证明了CAP定理的存在,因此CAP成为了定理,被分布式系统设计者广泛采用和遵循。

  • CAP是指任何一个分布式系统最多只能同时满足CAP中的两项

    • P:分区容错性(必须满足)
      • CP:一致性
      • AP:可用性
  • 基于CAP定理就产生了BASE理论

三、BASE理论:

  • BA:基本可用,分布式系统出现问题时,保证系统基本可用
  • S:软状态,允许各节点在可控范围内接收数据有时间延迟
  • E:最终一致性,所有副本经过一段时间同步,最终数据保持一致。
    • 一致性又分为:因果一致性、会话一致性、单调读一致性(每一次读都是一致的)、单调写一致性(每一次写都是一致的)、读己之所写一致性(自己写的自己始终要读到,前后一致);

四、保证分布式系统的一致性多种协议

1、2PC:2 Phase-Commit(两阶段式提交)

  • 两阶段式提交包含了请求和执行过程
  • 参与的所有节点,均准备完毕,然后进行第二步提交,问题是第一个准备请求将被阻塞,要等待最后一个节点准备完毕,才能启动第二阶段提交。这里会产生大量阻塞,还有单点问题和节点间协调问题等等。

2、 3PC:3 Phase-Commit,(三阶段式提交)

  • CanCommit发出提交请求,参与节点中那些能够提交,从而降低了阻塞范围,但是此种方式也引入了数据不一致的可能性,下一步PreCommit预提交,最后DoCommit提交。

3、Paxos协议

  • 算法作者是Leslie Lamport,帕克索斯协议1990年提出,分布式系统中最有效的解决方案

4、Raft协议

  • Raft是一种共识算法,旨在替代Paxos。 它通过逻辑分离比Paxos更容易理解,但它也被正式证明是安全的,并提供了一些额外的功能。Raft提供了一种在计算系统集群中分布状态机的通用方法,确保集群中的每个节点都同意一系列相同的状态转换。

五、分布式协调服务实现

1、Chubby
  • Paxos协议著名的工程实践是Google Chubby项目,它是分布式锁服务,GFS/BigTable都用到了chubby分布式锁服务来实现的。chubby作用是分面式协作、元数据存储、Master选举;

2、Zookeeper

  • 开源的分布式系统HDFS/HBase,它的分布式协调服务由Zookeeper实现。
  • zookeeper是一个开源的分布式协调服务,由知名互联网公司Yahoo创建,它是Chubby的开源实现;换句话讲,zookeeper是一个典型的分布式数据一致性解决方案,分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列;

3、ETCD

  • ETCD使用Raft协议来维护集群内各个节点状态的一致性。简单说,ETCD集群是一个分布式系统,由多个节点相互通信构成整体对外服务,每个节点都存储了完整的数据,并且通过Raft协议保证每个节点维护的数据是一致的。

相关文章

  • 简述分布式文件系统

    一、概述 1、 分布式系统定义 是一个硬件或软件组件分布在网络中的不同的计算机之上,彼此间仅通过消息传递进行通信和...

  • 软件篇-分布式文件系统(一) - FastDFS介绍与普通安装

    分布式文件系统 1.分布式文件系统是什么 分布式文件系统(Distributed File System)是指文件...

  • 第五周周报 - 草稿

    HDFS分布式文件系统 Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统,...

  • 6 Ceph

    Ceph概述 [toc] 分布式文件系统 分布式文件系统( Distributed File Syste ) 是指...

  • Hadoop文档(2.9.2) - HDFS架构

    介绍 Hadoop分布式文件系统(HDFS)是一种运行在通用硬件上的分布式文件系统。它与传统的分布式文件系统有很多...

  • Docker 安装 FastDFS

    简述 FastDFS是一个开源的轻量级分布式文件系统,它的主要功能包括:文件存储、文件同步、文件访问(文件上传、文...

  • 深入理解Hadoop之HDFS架构

    Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分...

  • 深度解析Hadoop之HDFS架构

    Hadoop分布式文件系统(HDFS)是一种分布式文件系统。它与现有的分布式文件系统有许多相似之处。但是,与其他分...

  • FastDFS文件服务器安装配置使用

    1.FastDFS架构简介 分布式文件系统 分布式文件系统 (Distributed File System) 是...

  • [ITSTAR]第二课:Hadoop的背景起源一: GFS: G

    分布式文件系统简图: 分布式文件系统详图: 水平复制的好处:客户端只需上传一份数据,分布式文件系统通过水平复制,自...

网友评论

      本文标题:简述分布式文件系统

      本文链接:https://www.haomeiwen.com/subject/hphuyqtx.html