美文网首页
orc文件压缩、本地导出、查看、下载

orc文件压缩、本地导出、查看、下载

作者: 小呀小芒果 | 来源:发表于2018-01-15 23:55 被阅读35次

压缩

压缩比例在1:7到1:10之间,3份副本的话会节省接近10倍空间
调查数据周末要给出
数据压缩后要注意负载均衡问题,可以尝试reblance

导出

hive的orc文件使用sqoop导出到mysql使用hcatalog直接增加一些配置参数即可

查看

以json方式查看orc文件

hive --orcfiledump -j -p /user/hive/warehouse/dim.db/dim_province/000000_0

下载

以KV形式查看orc文件

hive --orcfiledump -d /user/hive/warehouse/dim.db/dim_province/000000_0 > myfile.txt

orc读取会查找字段在min和max中的值,不包含则跳过,所以速度会快

相关文章

网友评论

      本文标题:orc文件压缩、本地导出、查看、下载

      本文链接:https://www.haomeiwen.com/subject/vdejoxtx.html