Kafka相关概念:
![](https://img.haomeiwen.com/i11588306/5fb0ecc275aca68e.png)
Topics (主题)
属于特定类别的消息流称为主题,数据存储在主题中。
主题被拆分成分区,对于每个主题,Kafka保存一个分区的数据,每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。
Partition (分区)
一个主题有多个分区,因此可处理的消息量非常之多。
Partition offset(分区偏移)
每个分区具有称为offset的唯一序列标识;
Replicas of partition (分区备份)
副本只是分区的一个备份,副本不读取或者写入数据,用于防止数据丢失。
Brokers (经纪人/代理 )
负责维护发布数据的简单系统,每个经纪人中的每个主题可以具有零个或者多个分区。
Kafka Cluster (Kafka集群)
Kafka有多个代理被称为集群。可以扩展Kafka集群,无需停机,这些集群用于管理消息数据的持久性和复制。
producer(生产者)
消息生产者,可发布一种或者多种主题消息(topic)。producer向brokers发送数据,brokers只需要将消息附加到最后一个段文件。实际上,该消息将被附加到分区。
consumers(消费者)
Consumers从经纪人处读取数据。 消费者订阅一个或多个主题,并通过从代理中提取数据来使用已发布的消息。
Leader(领导者)
leader是负责给定分区的所有读取和写入的节点,每个分区都有一个服务器充当leader。
Follower(追随者)
领导者的backup,如果领导失败,一个追随都将自动成为新的领导者。追求者作为正常消息者,拉取消息,并更新其自己的数据存储。
Kafka集群架构
![](https://img.haomeiwen.com/i11588306/a433b864e77462e4.png)
网友评论