美文网首页
【kafka-开发】修改topic分区及副本数

【kafka-开发】修改topic分区及副本数

作者: 粮忆雨 | 来源:发表于2019-01-17 11:44 被阅读0次

一、查看及修改topic分区

  1. 查看已有topic信息并修改分区
./bin/kafka-topics.sh --describe --zookeeper hdc-data1,hdc-data2,hdc-data3:2181 --topic prod_log_simul
./bin/kafka-topics.sh --alter --zookeeper hdc-data1,hdc-data2,hdc-data3:2181 --topic prod_log_simul --partitions 3

二、修改topic副本数

  1. 编写分配脚本并执行分配计划
vi ~/kafka_add_replicas.json

{"topics":
[{"topic":"prod_log_simul"}],
"version": 1
}

./bin/kafka-reassign-partitions.sh --zookeeper hdc-data1,hdc-data2,hdc-data3:2181 --topics-to-move-json-file ~/kafka_add_replicas.json --broker-list "0,1,2" --generate
  1. 根据上一步生成的分配计划复制并配置json文件topic-reassignment.json,进行topic的重新分配。
vi ~/topic-reassignment.json

去掉log_dirs字段并修改replicas字段([0,1,2]分别为broker_id),表示副本存储的broker位置,如下:

{"version":1,"partitions":[{"topic":"prod_log_simul","partition":2,"replicas":[0,1,2]},{"topic":"prod_log_simul","partition":1,"replicas":[0,1,2]},{"topic":"prod_log_simul","partition":0,"replicas":[0,1,2]}]}

重新分配及查看分配进度

./bin/kafka-reassign-partitions.sh --zookeeper hdc-data1,hdc-data2,hdc-data3:2181 --reassignment-json-file ~/topic-reassignment.json --execute
# 查看分配进度
./bin/kafka-reassign-partitions.sh --zookeeper hdc-data1,hdc-data2,hdc-data3:2181 --reassignment-json-file ~/topic-reassignment.json --verify


到此修改分区及副本数完成。

相关文章

  • 【kafka-开发】修改topic分区及副本数

    一、查看及修改topic分区 查看已有topic信息并修改分区 二、修改topic副本数 编写分配脚本并执行分配计...

  • kafka修改分区和副本数

    kafka修改分区和副本数 查看现在副本分配情况 topic 分区扩容 修改备份数量 这个文件自己创建 格式按照下...

  • 修改kafka分区数

    这里记录下如何修改kafka的topic分区 查看当前topic分区,假设主题是testtopic 修改分区个数 ...

  • kafka操作命令

    kafka启动 创建topic --partitions指定分区数,--replication-factor表示副...

  • Kafka-消费及分区

    消费方式: consumer次啊用pull(拉)模式从broker中读取数据。 push(推)模式很难使用消...

  • Kafka-生产及分区

    1.分区原因: 负载均衡+提高并发性 2.分区原则 封装为一个ProducerRecord对象 参数 : t...

  • Kafka命令行操作

    topic 创建topic --topic topic名 --partitions 分区数 --replica...

  • (11)Kafka分区数只加不减(2)

    topic创建后,可修改分区数、配置等,功能由kafka-topics.sh脚本中alter指令提供。 一、如何增...

  • Kafka

    名词说明主题 topicKafka 通过 topic 对消息进行分类。分区topic被分为多个分区,所以无法在整个...

  • Kafka:shell 操作

    创建 Kafka Topic 注: partitions指定topic分区数,replication-facto...

网友评论

      本文标题:【kafka-开发】修改topic分区及副本数

      本文链接:https://www.haomeiwen.com/subject/wsibdqtx.html