kafka快速入门

1、安装部署

安装部署可参考：
Kafka集群搭建与配置

2、kafka命令行操作

1、查看当前服务器中所有的topic

/home/jmsops/app/kafka/bin/kafka-topics.sh --zookeeper 10.4.7.11:2181,10.4.7.12:2181,10.4.7.21:2181:2181 --list

2、创建topic

/home/jmsops/app/kafka/bin/kafka-topics.sh --create --zookeeper 10.4.7.11:2181,10.4.7.12:2181,10.4.7.21:2181:2181 --replication-factor 3 --partitions 1 --topic first

选项说明：
--topic 定义topic名
--replication-factor 定义副本数
--partitions 定义分区数

3、删除topic

/home/jmsops/app/kafka/bin/kafka-topics.sh --delete --zookeeper 10.4.7.11:2181,10.4.7.12:2181,10.4.7.21:2181:2181 --topic first

需要server.properties中设置delete.topic.enable=true否则只是标记删除

4、发送消息

/home/jmsops/app/kafka/bin/kafka-console-producer.sh --broker-list 10.4.7.11:9092,10.4.7.12:9092,10.4.7.21:9092 --topic first

新版本已用--bootstrap-server替代--broker-list
要连接的服务器，形如：host1:prot1,host2:prot2

5、消费消息

/home/jmsops/app/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.4.7.11:9092,10.4.7.12:9092,10.4.7.21:9092 --topic first

/home/jmsops/app/kafka/bin/kafka-console-consumer.sh --bootstrap-server 10.4.7.11:9092,10.4.7.12:9092,10.4.7.21:9092 --topic first --from-beginning

0.9版本以前将offset信息保存在zookeeper上，老版本为：
/home/jmsops/app/kafka/bin/kafka-console-consumer.sh --zookeeper 10.4.7.11:2181,10.4.7.12:2181,10.4.7.21:2181 --topic first --from-beginning

--from-beginning：会把topic中所有的数据都读取出来

6、查看某个topic的详情

/home/jmsops/app/kafka/bin/kafka-topics.sh --describe --zookeeper 10.4.7.11:2181,10.4.7.12:2181,10.4.7.21:2181 --topic first

7、修改分区数

/home/jmsops/app/kafka/bin/kafka-topics.sh --alter --zookeeper 10.4.7.11:2181,10.4.7.12:2181,10.4.7.21:2181 --topic first --partitions 6

partition 只能增加，不能减少
方法：
新建一个topic，拷贝，删除原topic