源端集群
kafka01:10.1.1.10
kafka02:10.1.1.11
kafka03:10.1.1.12
目标集群
kafka11:10.1.1.13
kafka12:10.1.1.14
kafka13:10.1.1.15
公司新业务需要从其他部门取到Kafka中的数据到我们的Kafka集群，这里使用Kafka自带的kafka-mirror-maker工具进行数据的同步，数据流向为源端数据到目标集群，具体配置看下面配置，这里只提供基础的配置，生产中使用请去官网根据文档配置自己需要的个性化配置。
在目标端集群配置$KAFKA_HOME/config/consumer.properties
group.id可以自己定义
zookeeper.connect=kafka01:2181,kafka02:2181,kafka03:2181/kafka
group.id=test-group
在目标端集群配置$KAFKA_HOME/config/producer.properties
bootstrap.servers=kafka11:9092,kafka12:9092,kafka13:9092
在目标端及源端各自新建test02的topic
kafka-topics.sh --create --zookeeper kafka01:2181,kafka02:2181,kafka03:2181/kafka --replication-factor 1 --partitions 1 --topic test02
在目标端启动同步进程(如要后台启动请加nohup)
kafka-mirror-maker.sh --consumer.config $KAFKA_HOME/config/consumer.properties --producer.config $KAFKA_HOME/config/producer.properties --whitelist test02
===测试===
在源端启动生产者进程
kafka-console-producer.sh --broker-list kafka01:9092,kafka02:9092,kafka03:9092 --topic test02
在目标端启动消费者进程，在消费端能看到生产者发送的信息即可
kafka-console-consumer.sh --zookeeper kafka11:2181,kafka02:2181,kafka03:2181/kafka --from-beginning --topic test02
网友评论