Kafka

了解生产者如何向kafka集群中发送消息的，消费者如何从集群中消费消息？zookeeper到底扮演者着什么角色？它跟生产者和消费者之间有没有关系？

安装kafka

在安装kafka之前，需要安装zookeeper，zookeeper是用来管理kafka集群的，安装完zk之后并启动。

安装kafka

wget https://archive.apache.org/dist/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz
tar -xf kafka_2.11-0.11.0.0.tgz
cd kafka_2.11-0.11.0.0

为了学习的方便，我们在同一台机器上搭建伪集群。新建三个配置文件，修改如下：

# server1.properties
broker.id=0
port=9092
host.name=127.0.0.1
log.dirs=/Users/Liang/dataLog/kafka/k1

# server2.properties
broker.id=0
port=9093
host.name=127.0.0.1
log.dirs=/Users/Liang/dataLog/kafka/k2

# server3.properties
broker.id=0
port=9094
host.name=127.0.0.1
log.dirs=/Users/Liang/dataLog/kafka/k3

分别启动kafka

bin/kafka-server-start.sh  -daemon config/server1.properties
bin/kafka-server-start.sh  -daemon config/server2.properties
bin/kafka-server-start.sh  -daemon config/server3.properties

这时候三台kafka向zk去注册自己的相关信息（节点），我们连上zk服务上观察一下：

[zk: localhost:2181(CONNECTED) 24] ls /
[cluster, controller_epoch, controller, brokers, zookeeper, admin, isr_change_notification, consumers, latest_producer_id_block, config]
[zk: localhost:2181(CONNECTED) 27] ls /brokers
[ids, topics, seqid]
[zk: localhost:2181(CONNECTED) 28] ls /brokers/ids
[0, 1, 2]
[zk: localhost:2181(CONNECTED) 53] get /brokers/ids/0
{"listener_security_protocol_map":{"PLAINTEXT":"PLAINTEXT"},"endpoints":["PLAINTEXT://127.0.0.1:9092"],"jmx_port":-1,"host":"127.0.0.1","timestamp":"1576225146987","port":9092,"version":4}
cZxid = 0x76
ctime = Fri Dec 13 16:19:06 CST 2019
mZxid = 0x76
mtime = Fri Dec 13 16:19:06 CST 2019
pZxid = 0x76
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x16efd41071f000b
dataLength = 188
numChildren = 0

新建topic

$ bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --topic first --partitions 2 --replication-factor 2

我们发现zk下多了一个first的topic

[zk: localhost:2181(CONNECTED) 38] ls /brokers/topics
[first]

当然我们也可以用kafka提供的命令查看

$ bin/kafka-topics.sh --list --zookeeper 127.0.0.1:2181
first

仔细观察一下日志，可以发现topic为first对应的两个分区分布在三台kafka机器上

查看topic信息

$ bin/kafka-topics.sh --describe --topic first --zookeeper 127.0.0.1:2181
Topic:first PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: first    Partition: 0    Leader: 1   Replicas: 1,0   Isr: 1,0
    Topic: first    Partition: 1    Leader: 2   Replicas: 2,1   Isr: 2,1

生产者
向kafka集群中发送消息，需要指定kafka机器的ip（事实上，访问任何一台机器都可以获取到集群的其他机器信息，发送消息是往leader中发送的）

$ bin/kafka-console-producer.sh --topic first --broker-list 127.0.0.1:9092
>hello

消费者

$ bin/kafka-console-consumer.sh --topic first --zookeeper 127.0.0.1:2181
hello

如果消费者不在线，当我们重新打开consumer的时候，我们可以指定从头开始消费

$ bin/kafka-console-consumer.sh --topic first --zookeeper 127.0.0.1:2181 --from-beginning
hello

参考

Kafka 客户端是如何找到 leader 分区的
zookeeper与Kafka的关系
再过半小时，你就能明白kafka的工作原理了