parquet

作者: 焉知非鱼 | 来源:发表于2017-11-08 14:37 被阅读20次

进入 spark-shell 需要能访问 spark 的 Linux 账号, 如果没有获取到 sc , spark 等变量, 可以先切换账号:

sudo su - spark
val df = spark.read.parquet("hdfs://10.0.0.125:8000/ald_log_parquet/201711*/*/part-*")

退出 spark-shell:

:quit

Parquet列式存储格式详解，下推和压缩性能测试
摘要：列式存储，Parquet Parquet概述 Apache Parquet是面向分析型业务的列式存储格式，由...
spark 读取 hdfs 数据分区规则
下文以读取 parquet 文件 / parquet hive table 为例： hive metastore ...
Apache Parquet设计解读
官网地址：https://parquet.apache.org/docs[https://parquet.apac...
parquet
https://www.cnblogs.com/rxingyue/p/7113235.html 进入 spark-...
Parquet
Basic Glossary Block (hdfs block): This means a block in ...
parquet
2019-08-20 parquet 1、parquet是一种能够有效存储嵌套数据的列式存储格式，脱胎于Googl...
SparkSQL与Parquet格式兼容性
Spark中配置Parquet参数 parquet的相关的参数可以通过setconf或者set key=value...
spark题03
1.Spark使用parquet文件存储格式能带来哪些好处？使用 parquet 主要是对 Spark SQL ...
数据仓库-Hive基础（七） Hive 的压缩优化
压缩一般用orc或者parquet orc 结尾加上STORED AS orc，同理，用Parquet模式我们加...
SparkSQL操作外部数据源
parquet数据 hive表数据 mysql表数据 hive与mysql结合 1.处理parquet数据启动s...