美文网首页
Impala合并小文件

Impala合并小文件

作者: 无量儿 | 来源:发表于2021-11-26 17:37 被阅读0次

    set compression_codec=snappy;
    set parquet_file_size=512M;

    create table if not exists xx.xxx_tmp like xx.xxx;

    insert overwrite xx.xxx_tmp partition(etl_dt)
    select * from xx.xxx where substring(etl_dt,1,7)='2020-02';

    --删除指定月的分区数
    alter table xx.xxx drop partition(substring(etl_dt,1,7)='2020-02');

    --将备份分区数据重新插入
    insert into xx.xxx partition(etl_dt)
    select * from xx.xxx_tmp;

    drop table if exists xx.xxx_tmp;

    set parquet_file_size=256M;

    https://www.pianshen.com/article/466643134/

    相关文章

      网友评论

          本文标题:Impala合并小文件

          本文链接:https://www.haomeiwen.com/subject/jrqtrktx.html