kafka是分布式高吞吐的基于发布订阅模式的消息队列,kafka利用磁盘顺序读写实现了高吞吐。
系统架构
topic:按业务情况进行分组的主题。
partition:分布式下的物理数据分区
producer:消息的生产者
consumer:消息的消费者,可以有多个consumer同时从多个不同的partition去消费。
consumer group:一个业务或一个用途的为一个consumer group,不同之间互不影响。
broker:kaka是分布式,每个节点的实际进程,一个节点一个。
kafka的使用
创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --partitions 5 --replication-factor 2 --topic kafka-topic-test
查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
查看topic详细信息
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka-topic-test
删除topic,需要将server.propertie中的delete.topic.enable改为true,否则只会标记为删除状态
bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic kafka-topic-test
查看所有consumer group
bin/kafka-consumer-groups.sh --list --bootstrap-server localhost:9092
查看具体consumer group
bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group con-1
修改分区数
bin/kafka-topics.sh --alter --zookeeper localhost:2181 --partitions 5 --topic kafka-topic-test
控制台生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafka-topic-test
控制台消费者
//从最新开始消费
bin/kafka-console-consumer.sh --broker-list localhost:9092 --topic kafka-topic-test
//从头开始消费
bin/kafka-console-consumer.sh --broker-list localhost:9092 --topic kafka-topic-test --from-beginning
网友评论