美文网首页
parquet文件格式解析

parquet文件格式解析

作者: 早点起床晒太阳 | 来源:发表于2020-05-29 15:11 被阅读0次

    参考资料:
    https://parquet.apache.org/documentation/latest/
    https://www.jianshu.com/p/47b39ae336d5

    前言

    Apache Parquet是Hadoop生态系统中任何项目均可使用的列式存储格式,由于OLAP场景下的数据大部分情况下都是批量导入,基本上不需要支持单条记录的增删改操作,而查询的时候大多数都是只使用部分列进行过滤、聚合,所以列式存储在这种场景下效率很高

    原理解析

    1、名词解释

    File:hdfs文件,必须包含该文件的元数据。

    Row group(行组):对数据进行水平的划分分区,不保证其数据结构。行组有一定的行数,一个行组包含这个行组对应的区间内的所有列的列块。

    Column chunk (列块):在一个行组中每一列保存在一个列块中,行组中的所有列连续的存储在这个行组文件中。并且数据保证在文件中是连续的。

    page(页):每一个列块划分为多个页,页面是不可分割的单元(就压缩和编码而言)。列块中可以插入多种页面类型。

    从层次上讲,文件由一个或多个行组组成。行组每列仅包含一个列块。列块包含一个或多个page。

    2、具体结构
    image.png

    如上面所示 一个fILE包含多个行组,一个行组中包含多个列块,一个列块中包含多个page。
    元数据包含着对于file文件中的行组和列快的一些信息,包含偏移量,基本类型等

    元数据和data 是分开的,这样允许单个元数据文件引用多个parquet file。

    2、读取计算过程

    在读取数据的时候,我们可以看到上面结构图,元数据还存有着偏移量,num values等信息,比如我们在统计列行数以及max 等专门对列的操作的话,读取元数据,然后根据元数据寻找指定的列块进行读取计算,这样就大大提高了效率。

    列式存储的优势

    列式存储可以大大提升这类查询的性能,较之于行是存储,列式存储能够带来这些优化:

    1、查询的时候不需要扫描全部的数据,而只需要读取每次查询涉及的列,这样可以将I/O消耗降低N倍,另外可以保存每一列的统计信息(min、max、sum等),实现部分的谓词下推。
    2、由于每一列的成员都是同构的,可以针对不同的数据类型使用更高效的数据压缩算法,进一步减小I/O。
    3、由于每一列的成员的同构性,可以使用更加适合CPU pipeline的编码方式,减小CPU的缓存失效。

    实际应用

    我们在做BI的时候用的时候用的sparkThriftserver,刚开始表存储是用的CSV格式,后续为了提升效率用的CSV,提升了效率大约2,3倍,而且存储空间也减少了很多。不过hive和sparkThriftserver,spark 也完美兼容parquet,在日常应用中来提升效率。

    相关文章

      网友评论

          本文标题:parquet文件格式解析

          本文链接:https://www.haomeiwen.com/subject/dinxzhtx.html