hadoop:大数据分布式架构,主要包括HDFS + MapReduce。
hive:面向统计计算的,供数据分析人员使用,具有类似sql的执行引擎(开源hue可用于执行sql),其本质是将sql转换为MapReduce任务,hive自身不存储数据,存储采用hdfs。
hbase:面向实时查询的,面向编程人员,是面向列的数据库,同时也是kv(NoSQL)型数据库。
----
Sqoop:一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
hue:Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。
网友评论