首先我们要认识HDFS的体系结构，看下图：
HDFS结构示意图
基本知识点：
- HDFS是以块为基本的存储单位，块的大小为64MB，块是整个文件存储处理的逻辑单位
- 每个数据块都有三份，两个放在机架1，第三个放在机架二，防止硬件设备的故障导致数据块的损失
- HDFS包含两类节点，分别为NameNode和DataNode
- NameNode是管理节点，存放元数据，元数据包含两个部分，分别是文件与数据块的映射表（可通过映射表找到具体的数据块）
- DataNode是数据节点，存放数据块
- Secondary NameNode是备份管理节点，当NameNode出现问题后，备份管理节点将会代替原先NameNode的位置工作
HDFS工作流程：
查询流程:
客户端通过命令行或者程序输入查询语句，访问到管理节点，管理节点返回元数据给客户端，客户端再通过其中的映射表读取到数据块
插入流程：
客户端发出插入请求，NameNode找到空的可用的数据块将数据插入，然后数据块以流水线的形式将其复制两份放入指定的的位置
day07.HDFS学习【大数据教程】 ******HDFS基本概念篇****** 1. HDFS前言 设计思想 ...
一、基本概念 1、HDFS介绍 HDFS是Hadoop Distribute File System（分布式文件系...
基本概念 HDFS（Hadoop distribute file system）分布式文件系统 HDFS的文件被分...
课程地址：HDFS基本概念HDFS官方文档 目录 1、为什么需要分布式文件系统2、HDFS对文件的读取方式：流处理...
首先我们要认识HDFS的体系结构，看下图： 基本知识点： -HDFS是以块为基本的存储单位，块的大小为64MB，块...
date: 2016-10-21 15：34tags:HADOOP ** hdfs的由来：由于数据越来越多，单个操...
1. Hbase基本概念 一. 为什么要用hbase 相比于HDFS HDFS适合批处理场景, 但不支持数据的随机...
HDFS基本概念篇 HDFS前言 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而...
1 HDFS基本概念 数据块（Block） 128M 最小处理单元 冗余备份 名字节点（NameNode） 管...
我们在上一篇《分布式文件系统HDFS——基础篇》中已经已经对HDFS的基本概念和操作进行了介绍，这一次我们将要更深...
本文标题：HDFS基本概念
本文链接：https://www.haomeiwen.com/subject/jyjntqtx.html
网友评论