美文网首页
常见大数据技术架构

常见大数据技术架构

作者: 闻笛0213 | 来源:发表于2020-04-29 14:25 被阅读0次

hadoop:大数据分布式架构,主要包括HDFS + MapReduce。

hive:面向统计计算的,供数据分析人员使用,具有类似sql的执行引擎(开源hue可用于执行sql),其本质是将sql转换为MapReduce任务,hive自身不存储数据,存储采用hdfs。

hbase:面向实时查询的,面向编程人员,是面向列的数据库,同时也是kv(NoSQL)型数据库。

----

Sqoop:一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

hue:Hue是cdh专门的一套web管理器,它包括3个部分hue ui,hue server,hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr,查看修改hdfs的文件,管理hive的元数据,运行Sqoop,编写Oozie工作流等大量工作。

相关文章

网友评论

      本文标题:常见大数据技术架构

      本文链接:https://www.haomeiwen.com/subject/ngwgwhtx.html