美文网首页
HIVE数据迁移2

HIVE数据迁移2

作者: Moon_魔宽 | 来源:发表于2019-04-23 11:07 被阅读0次

版权声明:本文为博主原创文章,未经博主允许不得转载。https://www.jianshu.com/p/c1cb15521492

第一步:老集群节点上查看建表语句

第二步:在新集群hive上建库建表

注意location位置的命名空间要与新集群namenode的"Quorum Journal 名称"参数保持一致

此时在新集群通过hive查询,数据为空

第三步,拷贝数据

hadoop distcp -Ddfs.checksum.type=CR32C-log /tmp/discp2.txt -bandwidth 300

hdfs://19.126.68.31:8020/user/dw_scpas/hive/acscpdb/tbl_acscp_phone_day_cnt/hn_settle_dt=20190421hdfs://19.121.1.26:8020/user/bdhscpas/db/acscpdb/tbl_acscp_phone_day_cnt/hn_settle_dt=20190421

第四步:同步源数据信息metadata

msck repair table tbl_acscp_phone_day_cnt;

验证:

相关文章

  • hive数据迁移

    hive的数据迁移一般需要考虑多个部分。1.元数据怎么迁移2.数据怎么迁移3.迁移过后元数据和数据怎么产生关联 1...

  • HIVE数据迁移2

    版权声明:本文为博主原创文章,未经博主允许不得转载。https://www.jianshu.com/p/c1cb1...

  • hive的这些事(一)——hive数据迁移

    比如需要把生产的hive集群数据迁移到另一个集群,hive提供了2个命令工具,可以实现表的批量迁移。 [expor...

  • hdfs文件迁移

    hadoop跨集群之间迁移HDFS数据 不同hadoop集群之间迁移hive数据 hadoop跨集群之间迁移hiv...

  • 一篇文章教你自建hadoop集群迁移到EMR

    自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置...

  • Hive数据迁移

    版权声明:本文为博主原创文章,未经博主允许不得转载。https://www.jianshu.com/p/5e0b1...

  • hive数据迁移实例

    公司要完成hive数据迁移1.创建hdfs临时文件夹来保存数据 生成数据导出脚本执行以下的命令,生成数据导出的脚本...

  • HIVE数据迁移3

    版权声明:本文为博主原创文章,未经博主允许不得转载。https://www.jianshu.com/p/77c1c...

  • 那些年 CDH 5.13 所踩过的坑

    默认情况下hive访问不到子目录下面数据的问题 我们通过把hdp的数据迁移到了cdh,然后发现一些hive表存储的...

  • HDFS源文件迁移

    在工作中难免会遇到需要迁移大数据库,这时候就涉及到迁移hive等HDFS文件 解决方案: 采用hadoop dis...

网友评论

      本文标题:HIVE数据迁移2

      本文链接:https://www.haomeiwen.com/subject/vlomgqtx.html