美文网首页
hive 修复元数据命令 & 如何快速复制一张hive的分区表

hive 修复元数据命令 & 如何快速复制一张hive的分区表

作者: 姜小嫌 | 来源:发表于2020-01-02 13:36 被阅读0次

hive 元数据修复命令

 msck repair table xxx;

也可以用于分区表的快速复制

例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要如何操作呢?

1.复制建表语句

2.从线上下载分区表数据
hadoop fs -get /user/hive/warehouse/public.db/table_partition/ .

3.把分区数据put到线下表中
hadoop fs -put table_partition/* /user/hive/warehouse/public.db/table_partition

4.这时候hive无法识别分区数据
需要 msck repair table table_partition;

大功告成!!!

相关文章

  • hive 修复元数据命令 & 如何快速复制一张hive的分区表

    hive 元数据修复命令 也可以用于分区表的快速复制 例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要...

  • 大数据知识点总结

    Hive: 分区表有哪几类 Hive中追加导入数据的4种方式是什么? Hive中到处数据有几种方式?如何导出数据 ...

  • 【Hive系列】Hive快速复制一张分区表及数据

    关键字:Hive 复制表 Hive中有时候会遇到复制表的需求,复制表指的是复制表结构和数据。 如果是针对非分区表,...

  • Hive Migrate

    一、orc分区表迁移 复制元信息,hive同版本:可以恢复 复制元信息,hive高版本:可以恢复 不复制元信息,h...

  • hive的严格模式和分区

    相比mysql,hive有严格模式存在,为了不错误扫描整个数据,hive的分区表会将数据分成几个分区。查询分区表中...

  • 坑合集

    Flume flume细节 Hive 数据倾斜Hive优化 Hive分区表新增字段为null的bug及解决方法 S...

  • Hive系列之分区表和桶

    为提升hive数据的查询和写入性能, hive提供了分区表机制。hive每个表格可以指定多个分区key, 这些分区...

  • Hive 基础

    Hive 基础 Hive启动: 插入数据: 插入数据文件: Hive交互命令: 参数配置方式: hive> set...

  • odps 表数据同步到hive仓库

    1.复制建表语句。做适当修改,把字段类型换成hive支持的类型。启动hive,粘贴建表 分区表例子 CREATET...

  • hive 动态分区

    目的,往分区表中插入数据: 创建一个分区表:插入数据报错,原因是没有开启动态分区 执行命令: set hive.e...

网友评论

      本文标题:hive 修复元数据命令 & 如何快速复制一张hive的分区表

      本文链接:https://www.haomeiwen.com/subject/kwxooctx.html