美文网首页
hbase集群同步

hbase集群同步

作者: xuefly | 来源:发表于2019-04-04 23:30 被阅读0次

由于当前阶段需要对生产集群(cdh5.14,)的hbase数据进行灾备(备份集群cdh6.1),开始调研hbase的集群同步方案。
主要是两种场景:

  • 需要hbase的存量数据。有些业务已经积累了大量数据。
  • 不需要hbase的存量数据。这种主要是一些表的数据很快全量更新的,另外一些表可以新建。

调研

  • 支持cdh5与cdh6集群之间的同步

不会同步的修改

  • 同步之前的数据
  • 绕过了WAL的操作。比如BulkLoad 或者 `write

todo

一个常见的集群同步案例

image.png
  • 方块是集群
  • 有向连接性表示数据同步的方向

参考

相关文章

  • hbase集群同步

    由于当前阶段需要对生产集群(cdh5.14,)的hbase数据进行灾备(备份集群cdh6.1),开始调研hbase...

  • 2018-07-05

    工作情况: Hbase:公司测试集群Hbase主节点异常退出,原因集群机器时间不同步,时间差超过设定阈值。频繁关闭...

  • Hadoop、Hbase HA高可用集群搭建

    本文用以记录Hadoop、Hbase HA高可用集群搭建 基础环境准备根据前面hadoop集群搭建、hbase集群...

  • Hadoop Hbase HA高可用集群搭建

    本文用以记录Hadoop、Hbase HA高可用集群搭建 基础环境准备根据前面hadoop集群搭建、hbase集群...

  • Hbase集群搭建

    【集群设计】在原有的hadoop2.x集群上搭建Hbase集群,因为hbase集群要以来hdfs 【前期准备】ha...

  • HBase集群的搭建

    HBase集群搭建 HBase官网:http://hbase.apache.org/[http://hbase.a...

  • HBase集群平滑迁移步骤

    HBase集群平滑迁移步骤 测试环境 CDH版本HBASE版本测试源集群5.15.11.2.0测试目标集群6.2....

  • Pinpoint 集群环境部署

    前期准备 节点准备 本次节点列表如下: pinpoint集群依赖于hbase集群,因此需要先搭建好hbase集群(...

  • Hbase跨集群数据迁移-快照方式

    说明:原集群为散装集群,hbase版本为1.1.1,hadoop2.7.2;目标集群通过CDH5搭建,hbase版...

  • Pinpoint部署实践(二)搭设Hbase集群

    Hbase集群搭建 安装Hbase下载http://hbase.apache.org/downloads.html...

网友评论

      本文标题:hbase集群同步

      本文链接:https://www.haomeiwen.com/subject/rejfiqtx.html