- 获取Spark SQL 数据帧(DataFrame)
通过spark-shell初始化SparkContext,使用以下命令获取DataFrame数据帧
val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
val dfs = sqlContext.read.json("employee.json")
dfs.show()
- 利用SparkSql select语句获取数据
利用createOrReplaceTempView接口将json文件注册成临时表,通过sql接口编写select语句实现数据获取功能,代码如下
val df = spark.read.json("examples/src/main/resources/people.json")
df.createOrReplaceTempView("people")
val sqlDF = spark.sql("SELECT * FROM people")
sqlDF.show()
- 参考
Spark SQL Guide
Spark SQL Guide getting-started
Spark SQL 数据帧
网友评论