hadoop概述

# Hadoop 优势 #

- 高可靠性：因为Hadoop假设计算的元素和存储会出现故障，因为他维护多个工作数据副本，在出现故障时可以对失败得节点重新分布处理；

- 搞扩展性：在集群间分配任务数据，可方便得扩展数以千计得节点；

- 高效性：在MapReduce得思想先，Hadoop时并行工作得，以加快任务处理速度；

- 高容错性：自动保存多份副本数据，并且能够自动将失败得任务重新分配。

## Hadoop 组成 ##

概述：

- Hadoop HDFS:一个高可靠，高吞吐量得分布式文件系统

- Hadoop MapReduce ：一个分布式得离线并行计算框架

- Hadoop YARN :作业调度与集群资源管理框架

- Hadoop Commom: 支持其他模块得工具模板

1. HDFS架构概述

1)NameNode(nn):存储文件得云数据，如文件名，文件目录结构，文件属性（生成时间，副本书，文件权限），以及每个文件得块列表和快所在DataNode等

2）DataNode(dn):在本地文件系统存储文件块数据，以及快数据得校验和

3）SecondaryName(2nn):用于监控HDFS状态得辅助后台程序，没隔一段时间获取HDFS元数据得快照

2. YARN架构概述

1）ResourceManager(rm)：处理客服端请求，启动/监控ApplicationMaster,监控NodeMAnager,资源分配与调度

2) NodeManager(nm)：单个节点得资源管理，处理老子ResourceManager得命令，处理来自ApplicationMaster得命令；

3）ApplicationMaster:数据切分，为应用程序申请资源，并分配给内部任务，任务监控与容错

4）Container:对任务运行环境得抽象，封装CPU,内存等多维资源以及环境变量，启动命令等任务运行相关得信息

3. MapReduce架构概述

1）Map阶段并行处理输入数据

2）Reduce阶段对Map结果进行汇总

4. 大数据技术生态系统