美文网首页
HDFS读流程

HDFS读流程

作者: nil_ddea | 来源:发表于2020-10-12 00:20 被阅读0次

HDFS一个分布式文件系统,是Hadoop核心的一部分。
HDFS采用主从结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。

HDFS整体类似一个linux文件系统,将一个大文件切分成n个datablack(默认128m),datablock存储在DataBlock中,文件的元数据存储(类似linux inode table 包含权限、实际存储的datablock、datablock数量和所在DataNode信息等等)在NameNode中。

读流程

hdfs文件读取过程
  1. client想namenode发起访问文件 虚拟路径/foo/bar
  2. namenode返回存储/foo/bar实际文件的所有datablock信息
  3. 在datablock所在的datenode找出datablock合并成文件返回给client

相关文章

  • 大数据学习十二:HDFS读流程和写流程

    HDFS读写流程相对于HDFS Client而言,所以读流程为FSDataInputStream , 写流程为FS...

  • 面试题1

    一.Hadoop 1.hdfs写流程 2.hdfs读流程 3.hdfs的体系结构 4.一个datanode 宕机,...

  • HDFS读流程

    同样的集群,客户端想读取data文件。 读数据流程:

  • HDFS读流程

    HDFS一个分布式文件系统,是Hadoop核心的一部分。HDFS采用主从结构模型,一个HDFS集群是由一个Name...

  • HDFS读写流程

    闲暇之余,梳理了一下HDFS的读、写数据流程。 (一)下图是HDFS读数据流程图: 1、客户端向NameNode建...

  • HDFS读写流程

    一、HDFS的读流程 说明: 1.client通过调用DistributedFileSystem的open方法,来...

  • [Hadoop] HDFS 详解一(原理篇)

    目录 HDFS的工作机制 概述 HDFS 写数据流程 HDFS 读数据流程 NameNode的工作机制 NameN...

  • HDFS详解之读、写流程

    1.HDFS读流程 1.1 、Client通过FileSystem.open(filePath)方法,与NN节点进...

  • HDFS详解-02

    HDFS详解-02 1.机架 rack 问题: 2.副本放置策略 3.文件读流程 --> FSDataInputS...

  • 大数据学习资料,大数据面试题分享

    1、 针对每场面试来说必问的一个问题:自我介绍。 2、讲述HDFS上传文件和读文件的流程 3、HDFS在上传文件的...

网友评论

      本文标题:HDFS读流程

      本文链接:https://www.haomeiwen.com/subject/smwypktx.html