0x00 目标
把aws 账单明细 parquet文件，离线转换到 mysql数据库
0x01 过程
- 下载 parquet 文件
直接从S3存储桶下载待处理月份账单数据文件。
- 2.格式工具下载
这里用到开源工具 Tad,可到网页直接下载。支持 mac/linux/windows环境。
- 3.转换至csv格式
打开Tad应用，打开相应parquet文件，再保存为csv文件即可。
- 4.合并csv文件
比如我现在当月有3个文件，需要对csv进行合并处理。
每个csv的第一行为列名。 手动删除第2，第3个文件的第一行。
然后合并：
cat 2.csv >> 1.csv
cat 3.csv >> 1.csv
- 5.导入mysql
这里使用 DataGrip 工具，先打开本地数据库实例，创建一个库。
然后导入数据文件，勾选第一行为列名选项。
经过几分钟时间等待，我们就得到了mysql版本的账单文件了。
注意：DataGrip导入过程是异步的。
我们需要不断对比表的数列行数来判断是否导入完成：
select count(1) from billwc -l 1.csv
0x02 流量相关计费总结
TODO:
网友评论