美文网首页
客户端读、写数据到HDFS的流程

客户端读、写数据到HDFS的流程

作者: 大雄的学习笔记 | 来源:发表于2019-07-08 16:07 被阅读0次

客户端写数据到HDFS的流程

1562573172557.jpg

1.客户端请求hdfs写数据(假设是一个150M的文件)。
2.nameNode返回请求是否联通的标识。
3.客户端请求写入第一个数据块block1。
4.nameNode告知客户端应该把block1写入哪些dataNode(DN1、DN2、DN3)。
5.客户端与DN1建立数据传输连接。
6.DN1收到连接后与DN2建立连接。
7.DN2收到连接后与DN3建立连接。
8.DN3返回连接成功标识。
9.DN2返回连接成功标识。
10.DN1但会连接成功标识到客户端。
11.开始传输block1.
12.block2的传输过程跟block1一样。

客户端从HDFS读数据

客户端读数据.png

1.客户端请求读数据。
2.nameNode返回文件的元数据信息。
3.客户端发送block1的请求到dataNode。
4.dataNode数据流返回。
5.客户端发送block2的请求到dataNode。
6.dataNode数据流返回。

相关文章

  • HDFS读写流程

    闲暇之余,梳理了一下HDFS的读、写数据流程。 (一)下图是HDFS读数据流程图: 1、客户端向NameNode建...

  • 客户端读、写数据到HDFS的流程

    客户端写数据到HDFS的流程 1.客户端请求hdfs写数据(假设是一个150M的文件)。2.nameNode返回请...

  • 大数据技术之HDFS(四)

    HDFS 的 读写流程 4.1 HDFS 写数据流程 4.1.1 剖析文件 写入 (1)客户端通过 Distrib...

  • HDFS MapReduce

    hdfs的读写流程 hdfs写数据 1) 客户端通过DistributedFileSystem模块向namenod...

  • 082-BigData-10HDFS上传与下载机制

    上一篇:081-BigData-09HDFS上传与下载 一、HDFS的数据流 1、HDFS写数据流程 1)客户端向...

  • HDFS架构

    1.hadoop1.x hdfs架构图 3.hdfs写流程客户端要向HDFS写数据,首先要跟namenode通信以...

  • HDFS(四):HDFS 读写流程

    HDFS的写数据流程 1)客户端通过DistributedFileSystem模块想NameNode请求上传文件,...

  • Datandoe数据节点

    Datanode以存储数据块(Block)的形式保存HDFS文件 同时Datanode还会响应HDFS客户端读、写...

  • Hadoop HDFS 数据流

    HDFS 写数据流程 客户端通过Distributed FileSystem模块向NameNode请求上传文件,N...

  • [Hadoop] HDFS 详解一(原理篇)

    目录 HDFS的工作机制 概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameN...

网友评论

      本文标题:客户端读、写数据到HDFS的流程

      本文链接:https://www.haomeiwen.com/subject/tkcahctx.html