将Avro数据转换为Parquet格式

作者: 老老戟 | 来源:发表于2019-08-02 19:48 被阅读1次

将Avro数据转换为Parquet格式
111.Parquet表的使用
【2019-03-04】大数据常见存储格式对比
Hive表支持多种格式
Spark开发--Spark SQL--数据源（十六）
合并元数据
Avro | 绪
Avro
大数据文件格式梳理：Parquet、Avro、ORC
数据模型和数据存储格式

本文主要测试将Avro数据转换为Parquet格式的过程并查看 Parquet 文件的 schema 和元数据。

准备

将文本数据转换为 Parquet 格式并读取内容，可以参考 Cloudera 的 MapReduce 例子：https://github.com/cloudera/parquet-examples。

准备文本数据 a.txt 为 CSV 格式：

1,2 3,4 4,5

准备 Avro 测试数据，可以参考将Avro数据加载到Spark 一文。

本文测试环境为：CDH 5.2，并且 Avro、Parquet 组件已经通过 YUM 源安装。

将 CSV 转换为 Parquet

在 Hive 中创建一个表并导入数据：

create table mycsvtable (x int, y int) row format delimited FIELDS TERMINATED BY ',' STORED AS TEXTFILE; LOAD DATA LOCAL INPATH 'a.txt' OVERWRITE INTO TABLE mycsvtable;

创建 Parquet 表并转换数据：

create table myparquettable (a INT, b INT) STORED AS PARQUET LOCATION '/tmp/data'; insert overwrite table myparquettable select * from mycsvtable;

查看 hdfs 上生成的 myparquettable 表的数据：

$ hadoop fs -ls /tmp/data Found 1 items -rwxrwxrwx 3 hive hadoop 331 2015-03-25 15:50 /tmp/data/000000_0

在 hive 中查看 myparquettable 表的数据：

hive (default)> select * from myparquettable; OK myparquettable.a myparquettable.b 1 2 3 4 4 5 Time taken: 0.149 seconds, Fetched: 3 row(s)

查看 /tmp/data/000000_0 文件的 schema ：

$ hadoop parquet.tools.Main schema /tmp/data/000000_0 message hive_schema { optional int32 a; optional int32 b; }

查看 /tmp/data/000000_0 文件的元数据：

$ hadoop parquet.tools.Main meta /tmp/data/000000_0 creator: parquet-mr version 1.5.0-cdh5.2.0 (build 8e266e052e423af5 [more]... file schema: hive_schema -------------------------------------------------------------------------------- a: OPTIONAL INT32 R:0 D:1 b: OPTIONAL INT32 R:0 D:1 row group 1: RC:3 TS:102 -------------------------------------------------------------------------------- a: INT32 UNCOMPRESSED DO:0 FPO:4 SZ:51/51/1.00 VC:3 ENC:BIT [more]... b: INT32 UNCOMPRESSED DO:0 FPO:55 SZ:51/51/1.00 VC:3 ENC:BI [more]...

将 Avro 转换为 Parquet

使用将Avro数据加载到Spark 中的 schema 和 json 数据，从 json 数据生成 avro 数据：

$ java -jar /usr/lib/avro/avro-tools.jar fromjson --schema-file twitter.avsc twitter.json > twitter.avro

将 twitter.avsc 和 twitter.avro 上传到 hdfs：

$hadoop fs -put twitter.avsc$ hadoop fs -put twitter.avro

使用 https://github.com/laserson/avro2parquet 将 avro 转换为 parquet 格式：

$ hadoop jar avro2parquet.jar twitter.avsc twitter.avro /tmp/out

然后，在 hive 中创建表并导入数据：

create table tweets_parquet (username string, tweet string, timestamp bigint) STORED AS PARQUET; load data inpath '/tmp/out/part-m-00000.snappy.parquet' overwrite into table tweets_parquet;

接下来，可以查询数据并查看 parquet 文件的 schema 和元数据，方法同上文。

参考文章