一、kafka基本概念
1、producer:消息和数据的生产者,向kafka的一个topic发布消息的进程/服务/代码。
2、consumer:消息和数据的消费者,订阅数据(topic)并且处理其发布的消息的进程/服务/代码。
3、consumer group: 对于同一个topic,会广播给不同的group,一个group中,只有一个consumer可以消费该消息。
4、broker: kafka集群中的每个kafka节点。
5、topic: kafka消息的类别,对数据进行区分、隔离。
6、partition: kafka下数据存储的基本单元。一个topic数据,会被分散存储到多个partition,每一个partition是有序的。
7、replication:同一个partition可能会有多个replica,多个replica之间数据是一样的。
8、replication leader: 一个partition的多个replica,需要一个leader负责该partition上与producer和consumer交互。
9、replica manager: 负责管理当前broker所有分区和副本的信息,处理kafkaController发起的一些请求,副本状态的切换、添加/读取消息等。
二、kafka基本结构
kafka基本结构 kafka消息结构三、kafka特点
- 多分区
网友评论