美文网首页
Spark - SQL查询文件数据

Spark - SQL查询文件数据

作者: kikiki1 | 来源:发表于2019-07-06 13:53 被阅读0次

有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的的东西,只是想快速实现我要的聚合查询数据。那么我们可以利用spark-sql直接操作文件的特性处理这类的需求,姐姐再也不用担心我不会spark了,因为我就只会sql。

使用方法

csv

spark.sql("select * from csv.`/tmp/demo.csv`").show(false)

json

spark.sql("select * from json.`/tmp/demo.json`").show(false)

parquet

spark.sql("select * from parquet.`/tmp/demo.parquet`").show(false)

相关文章

  • Spark SQL概述

    简介 Spark SQL 是 Spark 处理结构化数据的一个模块。Spark SQL 提供了查询结构化数据及计算...

  • spark sql use hive

    spark sql 通过Spark SQL 查询hive中的数据 要求提供操作截图 切换数据库,选择指定的表; 操...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

  • Spark - SQL查询文件数据

    有时候有没有这么一种情况,我拿到了一个sql,csv,parquet文件,一起来就想写sql,不想写那些乱七八糟的...

网友评论

      本文标题:Spark - SQL查询文件数据

      本文链接:https://www.haomeiwen.com/subject/axyphctx.html