美文网首页
HDFS写流程

HDFS写流程

作者: 追光者_Go | 来源:发表于2018-04-11 13:40 被阅读0次
    4个节点的集群,一个namenode ,3个datanode,客户端要将data文件写入这个集群。 图片.png

    写数据流程:

    1、客户端向namenode发起请求(需要写数据的请求),namenode保存了各个节点的状态,它知道在哪个datanode上还有空间可以用,能存储这个文件。namenode发现datanode 1、2、3有空间。
    2、namenode将这个信息发给客户端。
    3、客户端将这个data文件进行分块(1、2)。
    4、客户端将数据块1及namenode提供的datanode的相关信息一起传给了datanode1,
    5、datanode1对数据块1进行了保存,它知道数据块1要备份3份,保存到数据块1、2、3,
    6、datanode1将数据块1以及namenode提供的相关信息依次传给datanode2和3
    7、当datanode1、2、3保存完数据块1之后,它反馈给namenode,告诉我保存了数据块1,然后更新了namenode上面的原信息的数据列表,
    8、namenode告诉客户端,数据块1已经存储完了
    9、开始存储数据块2,过程和数据块1存储的过程是完全一样的。
    
    图片.png

    相关文章

      网友评论

          本文标题:HDFS写流程

          本文链接:https://www.haomeiwen.com/subject/vywahftx.html