美文网首页
利用SparkSql提供的api获取数据

利用SparkSql提供的api获取数据

作者: reco171 | 来源:发表于2020-04-28 22:07 被阅读0次
    1. 获取Spark SQL 数据帧(DataFrame)
      通过spark-shell初始化SparkContext,使用以下命令获取DataFrame数据帧
    val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
    val dfs = sqlContext.read.json("employee.json")
    dfs.show()
    
    1. 利用SparkSql select语句获取数据
      利用createOrReplaceTempView接口将json文件注册成临时表,通过sql接口编写select语句实现数据获取功能,代码如下
    val df = spark.read.json("examples/src/main/resources/people.json")
    df.createOrReplaceTempView("people")
    val sqlDF = spark.sql("SELECT * FROM people")
    sqlDF.show()
    
    1. 参考
      Spark SQL Guide
      Spark SQL Guide getting-started
      Spark SQL 数据帧

    相关文章

      网友评论

          本文标题:利用SparkSql提供的api获取数据

          本文链接:https://www.haomeiwen.com/subject/rnjiwhtx.html