利用SparkSql提供的api获取数据
作者:
reco171 | 来源:发表于
2020-04-28 22:07 被阅读0次
- 获取Spark SQL 数据帧(DataFrame)
通过spark-shell初始化SparkContext,使用以下命令获取DataFrame数据帧
val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
val dfs = sqlContext.read.json("employee.json")
dfs.show()
- 利用SparkSql select语句获取数据
利用createOrReplaceTempView接口将json文件注册成临时表,通过sql接口编写select语句实现数据获取功能,代码如下
val df = spark.read.json("examples/src/main/resources/people.json")
df.createOrReplaceTempView("people")
val sqlDF = spark.sql("SELECT * FROM people")
sqlDF.show()
- 参考
Spark SQL Guide
Spark SQL Guide getting-started
Spark SQL 数据帧
本文标题:利用SparkSql提供的api获取数据
本文链接:https://www.haomeiwen.com/subject/rnjiwhtx.html
网友评论