1、kafka 名词解释
（1）消息：
消息是kafka中最基本的数据单元，主要由key 和 Value 构成，均为 byte数组。
（2）topic：
Topic是用于存放消息的逻辑概念，是一个消息集合，每个 topic 可以有多个生产者进行数据生产，同时也可以有多个消费者进行数据消费。
（3）分区（partition）
- 一个 topic 可以划分为多个partition ,同一个partition 下的消息是同一类型，同时该 partition 下的消息会被分配一个唯一的编号-offset.（同一 Topic 的多个 partition 内的message 是不保证顺序的，但是同一个 partition 中的 message 是有顺序的)
- 同一个 Topic 中的不同 partition 会被分配到不同的 Broker 上，partition是kafka 水平拓展的基础。
（4）Log
- Log 是一个逻辑概念，将生产者将消息写入到 partition 中时，实际上是将数据写入到了 partition 对应的 Log 中。
- Log 由多个 Segment组成，每个 Segment 对应一个日志文件或者索引文件，
（5）保留策略（Retention Policy）
- Retention Policy:是一种数据保留策略，避免磁盘被占满。
- Retention Policy 有两个实现方式：根据消息保存时间进行清理，根据 Topic partition日志文件阀值进行清理
（6）Log Compaction
Kafka可以在后台开启一个新的进程进行 value 压缩，只保留最新的 Value 值。
（7）Broker
- Broker的主要工作就是接收 producter message ，分配 offset,之后持久化到磁盘。
- 处理consumer，other broker的请求
（8）Replica
Kafka对消息进行了冗余备份（存在一个 Leader replica，多个 Follower replica）
（9）ISR
ISR 是 replica 集合，它是由Leader replica 管理的，leader会追踪和维护ISR中所有follower的滞后状态。如果滞后太多（数量滞后和时间滞后两个维度，replica.lag.time.max.ms和replica.lag.max.message可配置），leader会把该replica从ISR中移除。被移除ISR的replica一直在追赶leader。满足ISR的replica需要满足两个条件：
- replica所在的节点必须与zk保持着连接
- replica last offset与Leader replica last offset 之间的差值在一定的阀值内
（10）HW（High Wartrmark）
HW标记了一个特殊的offset, 同事HW之前的消息状态为commit，也就说HW之前的消息Leader replica 与Follower replica是同步的。consumer 进行消费时只能消费到HW之前的数据。
（11）LEO（Log End Offset）
LEO 是一个标记，是所有的replica都会有的一个offset，LEO指向追加到当前replica最后一条消息的offset。当Leader Replica 中新增数据时，LEO会进行递增执行新的offset，同样，当Follower Replica 进行数据同步的时候，LEO也会进行递增指向新的offset。
（12）Cluster & Controller
Cluster由多个Broker组成，用于对外提供服务。每个Cluster中会选举产生一个Controller，该Controller是整个Kafka Cluster 的指挥中心，负责管理分区的状态，监听Zk数据变化等。
（13）Producer
Producter 主要负责向Kafka topic parition 中推送消息。
（14）consumer
Consumer 负责从Topic0中拉取消费消息。
（15）consumer group
- Consumer Group 由多个Consumer 组成，同时一个Consumer只有属于一个Consumer Group。
- Consumer Group 保证了其订阅的Topic partition 会被该Consumer Group 中的Consumer消费。对于多个Consumer Group订阅了同一个Topic，每个Consumer Group之间互不影响。
- 如果要实现一个消息被多个 consumer 消费，则可以将当consumer 单独添加到单独的Consumer Group中（反之，如果要实现一个消息 被一个 consumer 消费，则可以将当consumer 添加到同一个Consumer Group中）
Consumer Group
2、Cluster & Producer & Consumer：
Cluster & Producer & Consumer
3、Replica 复制原理（冗余备份）
（1）Replica 复制流程
Replica 复制流程
（2）冗余备份:
① 同步复制：
同步复制也就要要求所有的Follower Replica都完成 复制，才会进行HW递增，也就是当所有的Follower Replica完成复制，数据才会被提交，生产者可以获取到该消息。如果因为一些未知因素（GC等）使得某个Follower Replica 未完成，导致HW无法 commit，则会拖慢整个系统的性能。
② 异步复制：
异步复制是当Leader Replica 收到Producer发送的消息，就进行HW递增，将状态更新为commit。而Follower Replica 则异步 从Leader Replica进行消息复制。该模式虽然避免了因为Follower Replica 异常导致的系统阻塞或者崩溃，但是同时存在数据同步延后的问题，如在此时发生Broker宕机，存在数据丢失风险
③ ISR：
ISR在一定的角度可以理解为同步复制与异步复制之间的一种折中。ISR为Follower Replica设置了延时阀值，当延时到达该阀值时，Leader Replica 就会将该Follower Replica 剔出ISR，确保消息可以快速提交。同时当Broker出现宕机或者异常时，能够第一时间从 Follower Replica中选举产生Leader Replica，从而避免了数据丢失。
网友评论