美文网首页
黑猴子的家:什么是 Spark SQL ?

黑猴子的家:什么是 Spark SQL ?

作者: 黑猴子的家 | 来源:发表于2019-07-09 16:04 被阅读0次

1、网址

http://spark.apache.org/sql/

2、概述

Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame,并且作为分布式SQL查询引擎的作用。我们已经学习了Hive,将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所有Spark SQL的应运而生,它是将Spark SQL转换成RDD,然后提交到集群执行,执行效率非常快!

3、易整合

4、统一的数据访问方式

5、兼容Hive

6、标准的数据连接

相关文章

网友评论

      本文标题:黑猴子的家:什么是 Spark SQL ?

      本文链接:https://www.haomeiwen.com/subject/zpyahctx.html