美文网首页
Spark - SQL查询文件数据

Spark - SQL查询文件数据

作者: kikiki5 | 来源:发表于2019-07-12 16:36 被阅读0次

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的的东西,只是想快速实现我要的聚合查询数据。那么我们可以利用spark-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会spark了,因为我就只会sql。

    使用方法

    csv

    spark.sql("select * from csv.`/tmp/demo.csv`").show(false)
    

    json

    spark.sql("select * from json.`/tmp/demo.json`").show(false)
    

    parquet

    spark.sql("select * from parquet.`/tmp/demo.parquet`").show(false)
    

    相关文章

      网友评论

          本文标题:Spark - SQL查询文件数据

          本文链接:https://www.haomeiwen.com/subject/wrdykctx.html