一图了解Kafka架构

Kafka的架构

kafka.jpg

Partition 分区

• 消息日志分区在集群的服务器上。
• 一个topic的消息被分配到不同的分区中。
• 分区中消息是顺序保存的，通过offset保持顺序。
• 分区可以设置备份（Replication），用于容灾。
• 通过Zookeeper选举分区leader节点。
• 可以将分区及备份分配到不同的服务器，提高可用性。

Topic 消息日志

• 消息在同一个分区中保持顺序，在不同分区中无法保持顺序。
• 通过顺序IO读写磁盘。
• 消息默认保存7天。
• 消息消费后并不会删除，消费者记录读取的位置。

Producer 生产者

• 通过push方式向集群发送消息。
• 决定消息存储在哪个分区。
• 可以自定义分区存储规则，例如：轮询。

Consumer 消费者

• 通过pull方式获取消息。
• 相同的消费组内，通过负载均衡方式消费消息，即消息只被组内一个消费者消费。
• 不同的消费组订阅相同的topic，组间通过广播方式获得消息。即同一条消息，会被不同消费组消费。
• 通过zookeeper记录消费记录offset。
• 可以通过设置offset值，消费过往的消息。