由于当前阶段需要对生产集群(cdh5.14,)的hbase数据进行灾备(备份集群cdh6.1),开始调研hbase的集群同步方案。
主要是两种场景:
- 需要hbase的存量数据。有些业务已经积累了大量数据。
- 不需要hbase的存量数据。这种主要是一些表的数据很快全量更新的,另外一些表可以新建。
调研
- 支持cdh5与cdh6集群之间的同步
不会同步的修改
- 同步之前的数据
- 绕过了WAL的操作。比如BulkLoad 或者 `write
todo
一个常见的集群同步案例
image.png- 方块是集群
- 有向连接性表示数据同步的方向
网友评论