一、HDFS的读流程

说明：

1.client通过调用DistributedFileSystem的open方法，来打开需要读取的文件

2.DistributedFileSystem通过RPC请求，向NameNode请求文件的block的位置信息，NameNode根据客户端和集群网络拓扑返回该文件block所在的部分或全部DataNode的地址，就是返回一个FSDataInputStream对象

3.Client调用FSDataInputStream的read方法

4.FSDataInputStream去连接第一个block的最近位置的DataNode去进行读取，直到读取到block的末端，读取后根据校验和进行校验。然后FSDataInputStream关闭与该DataNode的连接，转而进行下一个block的读取，直到所有的数据都读取完成

5.Client调用FSDataInputStream的close方法关闭输入流

二、HDFS的写流程

(2.1) 说明：

1.Client调用DistributedFileSystem的create方法来新建文件

2.DistributedFileSystem通过RPC请求向NameNode发送请求，并在文件系统的NameSpace中新建一个文件，此时并没有与block关联起来

NameNode会检查客户端是否有权限写，文件是否存在等等，检查通过后，返回客户端一个FSDataOutputStream对象

3.Client调用DistributedFileSystem的write方法来开始写数据

4.Client会将数据分成一个一个的数据包，并将数据包加入到数据队列中，然后为当前这个数据包分配一组适合存储的DataNode节点，向NameNode申请数据包。然后这些DataNode就构成了一个管道。FSDataOutputStream将数据包写入到第一个DN中，然后第一个DN收到数据包并存储起来，然后将数据包发送给管道中的DN2，DN2收到数据包也存储下来，然后发送给DN3

5.DN3将数据包存储起来后，向DN2返回一个Ack,DN2收到Ack后向DN1发送Ack；DN1收到Ack后向FSDataOutputStream返回Ack

5.1.FSDataOutputStream中还维护这一个确认队列，FSDataOutputStream在收到一个包的所有DataNode的确认Ack后，会将该数据包从确认队列中删除

6.当Client将文件的所有数据包都写入成功后，调用FSDataOutputStream的close方法

7.在调用close方法的时候，会联系NameNode告知这个文件写入成功

（2.2）写入过程出现故障的处理流程
当一个数据包正在DataNode管道中传输的时候，如果突然管道中的某一个DataNode发生故障：

1.先关闭当前的管道，并将确认队列中的所有待确认的数据包加回到数据队列中（这些待确认的数据包就是还没真正写入成功并收到Ack的）

2.如果当前正在传输的数据包已经有部分DataNode写入成功了，需要对这些DataNode上的数据包做标记，告知NameNode

3.从关闭的管道中删除故障DataNode，然后基于剩余的正常的DataNode形成新的管道，并进行数据写入

4.然后后续的数据包继续传输。NameNode发现这个数据包的副本数不足，会自动进行复制

三、副本放置策略

HDFS在写入过程中，默认是3个副本，通常副本的放置策略如下：

1.如果Client所在的Node是DataNode所在的节点，第一个副本为当前机器上，这样就可以减少第一个副本的网络传输；如果不是DataNode节点，那么就随机选择一个CPU不太忙，磁盘不太满的DataNode节点

2.第二个副本通常是在与第一个副本不同机架上的某一个DataNode上

3.与第二个副本相同机架的不同节点上

所以Client所在的节点最好是DataNode节点