美文网首页消息中间件
Kafka Mirror Maker 使用和图解

Kafka Mirror Maker 使用和图解

作者: 扫帚的影子 | 来源:发表于2016-11-03 15:13 被阅读899次
    • 说是图解,其实不是用正规的UML, 不是流程图, 不是时序图, 不是...
    • Mirror Maker 逻辑简单, 代码不多, 就一个 sacala文件: core/src/scala/kafka/tools/MirrorMaker.scala文件,里面使用了producer和consumer的java客户端SDK
    • Mirror Maker 这东西在使用中发现对同步的机房间网络质量要求还是比较高的, 特别是异地机房间
    • 使用Mirror Maker作同步需要加上对consumer lag的监控, 如果lag一直增加, 源broker offset也一直在增加,那可能是网络有问题或者是mm进程hang住了, 不要犹豫,重启mm吧~
    • 部署的时候尽可能部署在和目的集群相同的机房
    • 不多说,上图!
    kafka-mirror-maker.jpeg

    相关文章

      网友评论

      • 斯盖丸_沈天一:请问一下mirrormaker使用过程中目标集群突然挂了怎么办?我们发现丢失了大量的数据……如何避免呢?
        扫帚的影子:@斯盖丸_沈天一 不应该啊 同步发送失败了不会继续才对

      本文标题:Kafka Mirror Maker 使用和图解

      本文链接:https://www.haomeiwen.com/subject/zwabuttx.html