美文网首页
大数据学习十二:HDFS读流程和写流程

大数据学习十二:HDFS读流程和写流程

作者: RacyFu | 来源:发表于2018-05-24 14:30 被阅读0次

    HDFS读写流程相对于HDFS Client而言,所以读流程为FSDataInputStream , 写流程为FSOutPutStream

    1、HDFS读流程

    (1)、打开分布式文件流

    (2)、向NameNode请求数据文件

    (3)、NameNode返回要读取文件的全部或部分元数据信息

    (4、5)、HDFS开始从最近的DataNode读取block,若读取的块损坏,则读取备份中的其他block,若所有备份都无法读取,则文件      损坏。

    (6)、文件读取文笔,关闭分布式文件流

    2、HDFS写流程

    (1、2)、HDFS Client 向NameNode申请创建文件,文件创建后,不会被分配block。

    (4)、HDFS Client 向DataNode写入数据,DataNode根据复制策略向其他DataNode复制数据

    (5)、文件写完毕后,最后一个block依次向前传递ACK确认信息,直到NameNode

    (6)、关闭DFS文件流。

    相关文章

      网友评论

          本文标题:大数据学习十二:HDFS读流程和写流程

          本文链接:https://www.haomeiwen.com/subject/kxlsjftx.html