MapReduce定义 MapReduce是一个分布式计算的框架,是用户开发机遇hadoop的数据分析应用的核心框...[作者空间]
DataNode工作机制 DataNode启动后,首先向NameNode节点注册信息 成功后,开始定时执行数据校验...[作者空间]
1. NameNode与Secondary NameNode 简述 NameNode负责管理编辑日志(edits文...[作者空间]
1. 写数据机制 Hadoop写入数据的机制和流程如下图所示简述:客户端与namenode创建连接,namenod...[作者空间]
1. 开发环境配置 添加Hadoop环境变量 注:网上相关教程要求本地也安装hadoop,添加环境变量,然后才能使...[作者空间]
1. 概念 HDFS是一个分布式文件系统,Hadoop distributed file system。通过树形结...[作者空间]
1. 集群配置 此前使用的是伪分布式的单机模式,本篇使用分布式的集群配置。配置方案如下: 修改对应的配置文件即可。...[作者空间]
1. Hadoop的安装 下载Hadoop安装包,通过scp(或其他指令方式)发送到虚拟机上,并进行解压安装。修改...[作者空间]
1.Hadoop起源 Lucene的一个子项目 思想源于Google的三篇论文GFS - HDFS 分布式文件系统...[作者空间]
[TOC] 1.Java安装 使用scp指令将下载的jdk安装包传入虚拟机 解压安装jdk,配置环境变量 测试使用...[作者空间]
[TOC] 1.虚拟机选择 虚拟机软件有多种,如VMware、Parallels Desktop、VirtualB...[作者空间]