美文网首页
hadoop存储数据的过程

hadoop存储数据的过程

作者: 摸摸脸上的胡渣 | 来源:发表于2018-01-07 17:28 被阅读0次

在网上看到了一副很好描述hadoop数据存储的漫画,借来临摹一下,顺便自己加一点注释

先上一下丑作(不接受反驳)

简单解释一下,怕你们看不懂印象派的画作 = =

1. 客户端首先要和NameNode(以下简称NN)建立链接,告诉NN,我要存储一个280M的数据。此时默认这个NN是一个合格的NN,知道blocksize默认128M,replication factor为3。

2. 然后NN会去找DataNode(以下简称DN),如果符合要求,就会将DNs,按照距离客户端的距离近远排序,返回给客户端。

3. 客户端拿到DNs后,会将第一个block传输给DN1,传输的同时,DN1传给DN2,DN2给DN3。当数据传输结束的时候,DNs会给NN报备一下,并且告诉NN,自己存储的文件名,副本因子和block-id。

4. 客户端继续重复此流程,直到所有块传输完毕。

大数据小白,刚刚开始学习。欢迎提出疑问,帮我进步~

相关文章

  • hadoop存储数据的过程

    在网上看到了一副很好描述hadoop数据存储的漫画,借来临摹一下,顺便自己加一点注释 先上一下丑作(不接受反驳) ...

  • 搭建 Hadoop ubuntu 16.04

    关于 Hadoop hadoop可以作为分布式存储框架存储大规模数据 Hadoop生态4层架构: 底层:存储层,文...

  • hadoop 环境配置

    hadoop # 数据存储 # 数据分析 common # 工具类支持 hdfs # 文件存储...

  • Hadoop简介

    Hadoop概述 Hadoop是一个适合海量数据存储的分布式存储和分布式计算的平台。 Hadoop Modules...

  • 2018-09-03

    Hadoop提供了用于存储数据的HDFS(Hadoop Distributed File System),不过还有...

  • mapreduce

    在了解了Hadoop的组建以及底层框架之后我们知道,Hadoop的底层是通过HDFS进行数据的存储,将数据存储到集...

  • Hadoop系列-Hadoop简介与运行环境搭建

    hadoop简介 hadoop主要是解决海量数据的存储和海量数据的分析计算问题,狭义上来说,hadoop最擅长做海...

  • 【Hadoop视频】尚硅谷大数据视频_Hadoop视频教程

    尚硅谷大数据视频_Hadoop视频教程--关键字【尚硅谷Hadoop】 Hadoop框架主要用来解决海量数据的存储...

  • Hadoop 笔记

    Hadoop框架简介 HDFS 数据存储NameNode:存储数据的元数据相当于书籍的目录 DataNode本地的...

  • HDFS基础

    一、Hadoop Hadoop是Apache开源的大数据存储及分析的工具。 数据存储以自带的旗舰级分布式文件系统H...

网友评论

      本文标题:hadoop存储数据的过程

      本文链接:https://www.haomeiwen.com/subject/hjcmnxtx.html