美文网首页
HDFS的读写过程

HDFS的读写过程

作者: Aluha_f289 | 来源:发表于2019-02-22 21:31 被阅读0次

一、HDFS读写过程中的三个角色
1.client客户端:负责发起请求
2.NameNode:负责协调client请求、管理dataNode
3.dataNode:负责存储数据、向nameNode汇报信息
二、HDFS的写过程
1.客户端提供分块以及副本系数给NameNode(不提供默认是分块大小是128M,副本系数是3)
2.收到客户端请求的nameName寻找空闲的dataNode
3.nameNode提供个客户端空闲的dataNode地址给client
4.client向dataNode写入数据,在写入第一个dataNode的同时,第一个dataNode向第二dataNode写入数据......
5.client向dataNode写入数据完成后,dataNode向NameNode汇报写入数据完成

相关文章

  • hdfs读写文件过程

    以写入100M文件为例: Client将FileA按64M分块。分成两块,block1和Block2; Clien...

  • hdfs 读写过程

    hdfs 文件写入过程 Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, Name...

  • HDFS的读写过程

    一、HDFS读写过程中的三个角色1.client客户端:负责发起请求2.NameNode:负责协调client请求...

  • Hadoop

    1.HDFS的特点? 2.客户端从HDFS中读写数据过程? 3.HDFS的文件目录结构? 4.NameNode的内...

  • Hadoop - yarn notes2

    HDFS相关 1. HDFS读写文件过程 这里描述的 是一个256M的文件上传过程 ① 由客户端 向 NameNo...

  • HDFS 文件读写过程

    一、HDFS 文件读取剖析 客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS...

  • HDFS数据的读写过程(重点)

    HDFS读数据流程 (1)客户端通过FileSystem.open()打开文件,相应地,在HDFS文件系统中Dis...

  • hdfs读写过程是怎样的?

    1.客户端通过调用FileSyste 对象的open()方法来打开希望读取的文件,对于Hdfs来说,这个对象是D...

  • HDFS架构

    HDFS架构常规状态: 读写状态:

  • Hadoop HDFS 数据读写流程分析

    本文转载自《Hadoop HDFS 数据读写流程分析》,该文对Hdfs的读写流程分析之简洁明了,令人叹服。 HDF...

网友评论

      本文标题:HDFS的读写过程

      本文链接:https://www.haomeiwen.com/subject/dazemftx.html