Spark SQL

作者: 乔一波一 | 来源:发表于2019-03-21 14:04 被阅读0次

Spark on hive (Spark SQL):hive只是作为了存储的角色;Spark Sql作为计算的角色

Hive on Spark (Shark):Hive承担了部分计算(解析Sql,优化SQL)和存储;Spark作为执行引擎角色;

Spark 底层操作的是DataFrame;类似于Spark core中底层操作的是RDD;也是分布式的数据容器;Spark2.3中出现了DataSet,DataSet[Row]就是DataFrame,也就是DataFrame是DataSet的一种类型;

SparkSQL中查询大量数据,优化Sql采用谓词下推的方式;

sparksql 谓词下推

SparkSQL简介
一、如何运行Spark SQL 查询 1.1、Spark SQL CLI 要启动Spark SQL CLI ，请...
spark之旅-4.spark-sql
Spark-SQL Spark-SQL，思维导图
Spark SQL（Spark shell）
一、Spark SQL基础 1、Spark SQL简介 Spark SQL是Spark用来处理结构化数据的一个模块...
macOS下Spark SQL与Hive MySQL集成
1 Spark SQL 与Hive集成（spark-shell） Spark SQL is Apache Spar...
黑猴子的家：什么是 Spark SQL ?
1、网址 http://spark.apache.org/sql/ 2、概述 Spark SQL是Spark用来处...
184、Spark 2.0之Spark 2.x与1.x对比以及分
Spark 2.x与1.x对比 Spark 1.x：Spark Core（RDD）、Spark SQL（SQL+D...
Spark从入门到精通58:Spark 2.x与1.x对比以及分
Spark 2.x与1.x对比 Spark 1.x：Spark Core（RDD）、Spark SQL（SQL+D...
Spark系列3 - Spark SQL
1 从Shark到Spark SQL Spark SQL的前生是Shark，即Hive on Spark。Shar...
Spark SQL
概述官方地址 http://spark.apache.org/sql/Spark SQL是Spark用来处理结构...
Spark SQL
Spark on hive (Spark SQL):hive只是作为了存储的角色;Spark Sql作为计算的角色...