kafka

kafka 是一个分布式的，分区的，复制的提交日志服务

分布式：kafka可以提供集群服务，它是由一个或者多个broker组成，每个broker都可以响应客户端请求

分区：体现在kafka消息中，topic代表着一类消息，一个topic有多个分区，并且按照一定的规则分布在broker集群中

复制：一个topic 的分区有多个副本，按照一定的规则分布在broker集群中，副本可分为leader和follow,leader所在broker负责响应客户端的读写请求，follow周期性地同步leader数据，已防止leader故障后消息丢失

提交日志：kafka的消息是以日志的方式进行存储的

kafka 组件由生产者，消费者，代理服务器broker 和zk 组成

生产者负责往broker上写消息，由于topic消息是分区的，因此生产者可以同时往broker上同时发起写请求，从而提高写吞吐量

消费者负责往broker拉取消息，消费者是以组的形式消费消息的，一个消费者组由多个消费者组成，broker 按照分配策略将topic 的分区分配给消费者，topic 的一个分区只能分配给消费者组的一个消费者，因此保证了一个分区的消息是顺序消费的。也保证了topic 将消息广播给消费者组，而一个消费者组消费消息保证了点对点消费

zk：负责管理broker 集群

producer:

发送位置：producer 按topic 发送消息，消息是以kv的格式进行发送的，如果key 为null，那producer 将消息轮询的发送到各个分区中，如果key不为null，producer默认按hash的方式将消息发送到各个分区中。 producer 在发送之前，就会将消息按分区进行分组，然后按分区所在的节点进行分组构建发送请求。

发送方式：producer 发送消息可分为同步发送和异步发送。通过配置acks 控制，当acks 为 0时，producer 发送消息将不会等待leader分区以及follow 分区所在broker确认直接返回（不能保证消息以及被服务器接收到），acks 为 1时，producer 将会等待leader分区的确认并返回。为-1或为all时，producer 会等待leader确认以及配置文件  in-sync replicas 配置的follow个数确认后返回。

调优点：

1.acks设置：设置0时，写吞吐量最高，但不能保证消息发送的准确性。为1时，一种折衷方案，但如果leader所在broker挂且副本还没有同步消息，那么消息仍会丢失。为-1时，消息可靠性最高，但写吞吐量最低。这得根据实际的业务场景去设置。

2.batch.size 设置：producer 发送消息是按batch发送的，当batch达到设置大小后，producer 就会将该batch发送到服务器去。单位为byte ，推荐大小为512k

3.linger.ms 设置：延迟发送的实际，单位为秒，producer将消息根据配置的延迟时间延迟发送，如果到了延迟的时间，batch消息没满，那么producer 也会将该batch发送到服务器中去

4.buffer.memory 设置：单位为byte，kafka为将所有batch 存储在buffer中，如果buffer满载，那么producer 会发生阻塞。

5.可以利用多线程创建多个producer 发送消息

consumer:

分区分配策略：当一个消费组有多个消费者时，kafka提供三种策略将topic的分区分配给消费者，策略分别是range，roundrobin和Sticky

range:kafka 会将topic 的分区按照序号排序，消费者会按照字母顺序进行排序，然后将分区总数除以消费者总数来确定每个消费者线程消费几个分区。如果除不尽，序号为前面几个的消费者会多消费一个分区。例如：

排序过的分区序号为 0 1 2 3 排序过的消费者线程为：c-0 c-1 c-2 最后的分配结果为：

c-0 p(0,3)

c-1 p(1)

c-2 p(2)

如果分区序号为 0 1 2 3 4  消费者线程为 c-0 c-1 c-2 结果为：

c-0 p(0,3)

c-1 p(1,4)

c-2 p(2)

缺点：如果在多个topic 和多个分区的情况下，前面的消费者会多消费多个分区，造成消息消费不均，影响性能。

roundrobin:将所有主题的所有分区放置到TopicAndPartition列表中，并对该列表进行hash 排序，在将消费者按字母进行排序，将排序号的列表总数除于消费者总数确定消费者所消费的分区个数。如果除不进，前面的消费者就多消费一个分区。

假如按照 hashCode 排序完的topic-partitions组依次为T1-5, T1-3, T1-0, T1-8, T1-2, T1-1, T1-4, T1-7, T1-6, T1-9，我们的消费者线程排序为C1-0, C1-1, C2-0, C2-1，最后分区分配的结果为：

C1-0 将消费 T1-5, T1-2, T1-6 分区；

C1-1 将消费 T1-3, T1-1, T1-9 分区；

C2-0 将消费 T1-0, T1-4 分区；

C2-1 将消费 T1-8, T1-7 分区；

roundrobin是将所有的topic 的所有分区进行hash排序，最后按照range的方式进行分区。

使用RoundRobin策略有两个前提条件必须满足：

同一个Consumer Group里面的所有消费者的num.streams必须相等；

每个消费者订阅的主题必须相同。

sticky:

分区的分配要尽可能的均匀；

分区的分配尽可能的与上次分配的保持相同。

当两者发生冲突时，第一个目标优先于第二个目标。鉴于这两个目标，StickyAssignor策略的具体实现要比RangeAssignor和RoundRobinAssignor这两种分配策略要复杂很多。我们举例来看一下StickyAssignor策略的实际效果。

消费语义：kafka 提供三种消费语义，分别是 至少一次 至多一次 和正好一次。

至少一次：消费者在接收消息并处理完成时，再通知服务端将该消息标记为已消费。如果在提交到服务器时发送了故障，那么下次再消费消息时，会重复消费消息。

至多一次：消费者在接收到消息时，就向服务端将该消息标记为已消费。最后才对消息进行处理。如果在处理之前或处理中的时候发送了故障，那么该消息会丢失。

正好一次：关闭消费者自动提交偏移量，将消费者消费的偏移量存储在外部存储系统中，在消费者消费开始消费消息时，从存储系统中获取偏移量，并从该偏移量开始消费消息。消息处理完后再将偏移量提交到外部存储系统中。这其中的操作要保证原子性。

消费者再平衡条件：1.消费者组新增或移除消费者 2.broker 宕机