Common : 一系列 组件和接口,用于分布式文件系统和通用I/O(序列化,java RPC和持久化数据结构)
Avro : 一种序列化系统,用于支持高效,快语言的RPC和持久化数据存储
MapReduce : 分布式数据处理模型和执行华景,运行于大型商用机集群
HDFS : 分布式文件系统,云星宇大型商用机集群
Pig:数据流语言和运行环境,用于探究非常庞大的数据集.Pig运行在MapReduce和HDFS集群上
Hive: 一种分布式的,按列存储的数据仓库.Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用于查询数据
HBase:一种分布式.按列存储的数据库.HBase使用HDFS作为底层存储,同事支持MapReduce的批量式计算和点查询
zookeeper : 一种分布式,可用性高的协调服务.zookeeper提供分布式锁之类的基本服务用于构建分布式应用
Sqoop : 该工具用于结构化数据存储和HDFS之间高效批量传输数据
Oozie : 该服务用于运行和调度Hadoop作业
网友评论