Hadoop作为大数据生态的第一代处理框架,其经典性和代表性是毋庸置疑的,而在大数据学习当中,Hadoop这一块也...[作者空间]
HDFS作为Hadoop大数据生态下的分布式文件系统,在越来越大规模的数据场景下,HDFS历经考验,其性能也得到肯...[作者空间]
Hadoop MapReduce,作为分布式计算的第一代引擎,其经典的地位是不容动摇的,而越是经典越是有代表性的东...[作者空间]
19} 20} 21} 22} 1、内存里面的元数据刷盘 19}接上期 ——1.1 .1.1》 FSEditLo...[作者空间]
1、以创建目录的场景 为例贯穿整个流程 自编客户端 FileTest 代码_>▲★▼FileSystem fil...[作者空间]
1、 DataNode启动流程 19:00 本节入口:DataNode类main方法/* DataNode类注...[作者空间]
一、Yarn基本结构 Hadoop三大核心组件:分布式文件系统HDFS、分布式计算框架MapReduce,分布式集...[作者空间]
一、工作机制 1、基础描述 DataNode上数据块以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是数...[作者空间]
一、存储机制 1、基础描述 NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,...[作者空间]
1 MapReduce 流程回顾 00 ~ 0:23:00 2 MapReduce Shuff...[作者空间]
1 MR 架构概述 0:33:00 ~ 1:20:00 1采用职责链设计模式 数据源 InputF...[作者空间]
接上回——》NameNode #构造函数()——1 》NameNode # initialize▼rpcServe...[作者空间]
(1)HDFS元数据管理、双缓冲 17 } 0:55 双缓冲写元数据的方法 ——》 FSEditLo...[作者空间]
一、回顾HDFS 元数据 管理 1、0 回顾HDFS 元数据 管理 流程 35} 0:8 1.1 写元数据(jou...[作者空间]
UNIT4 1. 创建INodeFile流程分析 0:15:00 ~ 0:29.19 2步:FileSyst...[作者空间]
0、NameNode 承受高流量的机制 双缓冲写入editlog 1、 NameNode流程启动剖析 ) 0...[作者空间]
MapReduce 思想:分而治之 Map(分):在分的阶段,我们只需要提供Map阶段的逻辑就好,不需要关心原始数...[作者空间]
HADOOP框架 大数据技术解决的是什么问题? 解决海量数据的存储和计算 Hadoop的广义和狭义之分 狭义的Ha...[作者空间]
7.1 概述 7.1.1 NodeManager基本职能 7.1.1 NodeManager 架构 7.2 健康检...[作者空间]
6.3 YARN资源调度器的基本架构 6.3.2 资源表示模型 NodeManager启动时会向ResourceM...[作者空间]