客户端读、写数据到HDFS的流程

客户端写数据到HDFS的流程

1562573172557.jpg

1.客户端请求hdfs写数据（假设是一个150M的文件）。
2.nameNode返回请求是否联通的标识。
3.客户端请求写入第一个数据块block1。
4.nameNode告知客户端应该把block1写入哪些dataNode（DN1、DN2、DN3）。
5.客户端与DN1建立数据传输连接。
6.DN1收到连接后与DN2建立连接。
7.DN2收到连接后与DN3建立连接。
8.DN3返回连接成功标识。
9.DN2返回连接成功标识。
10.DN1但会连接成功标识到客户端。
11.开始传输block1.
12.block2的传输过程跟block1一样。

客户端从HDFS读数据

客户端读数据.png

1.客户端请求读数据。
2.nameNode返回文件的元数据信息。
3.客户端发送block1的请求到dataNode。
4.dataNode数据流返回。
5.客户端发送block2的请求到dataNode。
6.dataNode数据流返回。