美文网首页Hadoop运维日常
HBase跨集群数据迁移的一种方法

HBase跨集群数据迁移的一种方法

作者: 咖啡大象不含咖啡 | 来源:发表于2018-09-09 10:38 被阅读67次

从源hbase集群中复制出HBase数据库表到本地目录

  • hadoop fs -get
  • scp到目的集群
  • hadoop fs -put 到目的集群HDFS

亦可使用distcp将集群复制至目标集群
具体办法参考:DistCp

修复.META.表和重新分配数据到各RegionServer

在.META.表没修复时执行重新分配,会报错

#hbase hbck -fixAssignment
...
ERROR: Region { meta => null, hdfs => hdfs://h185:54310/hbase/toplist_ware_total_1009_201232/0403552001eb2a31990e443dcae74ee8, deployed =>  } on HDFS, but not listed in META or deployed on any region server
...

先修复.META.表

#hbase hbck -fixMeta

重新分配到各分区服务器

# hbase hbck -fixAssignments

将刷一下类型日志

12/08/14 18:28:01 INFO util.HBaseFsckRepair: Region still in transition, waiting for it to become assigned: {NAME => 'toplist_ware_total_1009_201232,,1344187094829.0403552001eb2a31990e443dcae74ee8.', STARTKEY => '', ENDKEY => '', ENCODED => 0403552001eb2a31990e443dcae74ee8,}
12/08/14 18:28:02 INFO util.HBaseFsckRepair: Region still in transition, waiting for it to become assigned: {NAME => 'toplist_ware_total_1009_201232,,1344187094829.0403552001eb2a31990e443dcae74ee8.', STARTKEY => '', ENDKEY => '', ENCODED => 0403552001eb2a31990e443dcae74ee8,}

参考:
distcp相关问题可以参考以下博客:https://www.jianshu.com/p/cbace52602aa

相关文章

网友评论

    本文标题:HBase跨集群数据迁移的一种方法

    本文链接:https://www.haomeiwen.com/subject/hdmrgftx.html