美文网首页大数据
hive优化命令

hive优化命令

作者: 堂哥000 | 来源:发表于2021-06-19 16:46 被阅读0次
    • 显示所有带ods字样的数据库
      show databases like '*ods*'
    • 显示所有带ods字样的某个库下的表名
      show table '*ods*'
    • 显示某个表一级分区下的二级分区(不显示全分区)
      show partitions table_name partition(the_date='20210619')
    • 表描述信息
         -- 两种写法信息一致,第二种表描述更丰富
         desc extended  table_name [partition(the_date='20210619')]
         dssc formatted table_name [partition(the_date='20210619')]
    
    • 原表基础重建表(不修改表内数据,相当于修改表字段名)
    alter table table_name replace columns (
      field_one string comment 'first field name'
      ,field_two int comment 'second field name '
    ) ;
    
    • 设置表文件属性,可实现一个表同时存在orc格式和txt格式
    -- 不加(partition)分区对整个表设置文件属性,但是已导入数据不会受到影响
    --  加上分区参数不会修改整表,原来的分区内为orc 文件,修改完分区内可读
    --  此方法可实现,每个分区的数据文件格式可独立存在
    alter table  table_name  partition(pt='20210619')
    set fileformat orcfile;
    
    • 提取hdfs除去最后一域的其他数据
    hadoop fs -ls -R /user/hive/warehouse/tmp.db/ |awk '{print $8}'|awk -F'/' '{gsub($(NF-1)"/"$NF,"");print}'
    
    • 读一次表,查询插入多个表


      多段插入

      hive-132

    相关文章

      网友评论

        本文标题:hive优化命令

        本文链接:https://www.haomeiwen.com/subject/uhvryltx.html