美文网首页
OpenTSDB集群间数据同步

OpenTSDB集群间数据同步

作者: david9 | 来源:发表于2020-06-02 11:52 被阅读0次

背景

有2个opentsdb集群,需要将一个集群的数据同步到另外一个集群,数据量大概在600G左右

方案

hbase snapshot方式

资料很多,略

opentsdb scan+import方式

通过suggest方式获取所有metric(max尽量大些,保证获取所有metric):

wget http://OPENTSDB_HOST:4242/api/suggest?max=99999&q=&type=metrics

使用scan命令导出某个时间段的metric数据,如下:

tsdb scan --import '2020/01/01-00:00:00' '2020/06/01-01:00:00' none cpu.nice.time > nice.time.txt

命令格式为:

tsdb scan --import 开始时间 结束时间 aggregator metric名 [tag名=tag值,...]

其中aggregator为none表示不聚合

使用gzip压缩:

gzip nice.time.txt

scp至另一个集群,import导入:

tsdb import /root/nice.time.txt.gz

相关文章

网友评论

      本文标题:OpenTSDB集群间数据同步

      本文链接:https://www.haomeiwen.com/subject/grquzhtx.html