美文网首页
利用SparkSql提供的api获取数据

利用SparkSql提供的api获取数据

作者: reco171 | 来源:发表于2020-04-28 22:07 被阅读0次
  1. 获取Spark SQL 数据帧(DataFrame)
    通过spark-shell初始化SparkContext,使用以下命令获取DataFrame数据帧
val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
val dfs = sqlContext.read.json("employee.json")
dfs.show()
  1. 利用SparkSql select语句获取数据
    利用createOrReplaceTempView接口将json文件注册成临时表,通过sql接口编写select语句实现数据获取功能,代码如下
val df = spark.read.json("examples/src/main/resources/people.json")
df.createOrReplaceTempView("people")
val sqlDF = spark.sql("SELECT * FROM people")
sqlDF.show()
  1. 参考
    Spark SQL Guide
    Spark SQL Guide getting-started
    Spark SQL 数据帧

相关文章

网友评论

      本文标题:利用SparkSql提供的api获取数据

      本文链接:https://www.haomeiwen.com/subject/rnjiwhtx.html