阅读以下内容你将了解到:
1.Kafka的协议
2.Kafka的时间轮实现(作用、原理、多级时间轮)
3.Kafka中的延时操作举例
4.Kfka中的控制器(为什么要用控制器、有什么作用、ZooKeeper不能满足吗)
5.如何优雅关闭Kafka？
1.Kafka的协议
Kafka自定义了一组基于TCP的二进制协议，只要遵守这组协议的格式，就可以向Kafka发送或者拉取消息。
2.Kafka的时间轮（延时操作）
Kafka中存在大量延时操作，比如延时生产、拉取、删除等。JDK中的Timer和DelayQueue的插入和删除操作平均时间复杂度为O(nlogn)并不能满足Kafka的高性能要求，而基于时间轮可以将插入和删除操作的时间复杂度都降为O(1)。特别注意：虽然这边DelayQueue似乎比不上时间轮，但是他在这之中仍有用武之地。
image.png
如上图所示就是时间轮结构，假设每隔为1ms，那么需要延迟6ms的操作就要放到第六个格子中，每个格子里有一个TimerTaskList来存储延时任务。我知道，这里可能会有一个疑问，如果超出20ms的延时任务该怎么办呢？需要加大时间轮的密度吗？这肯定会导致内存的暴增，这里我们先来解决上面提到的问题———DelayQueue是怎么使用在时间轮里的？
举个例子，现在我们有6ms和12ms两个延时任务，其他时间没有任务。该怎么执行呢？
Kakfa是将每个使用到的TimerTaskList加入到DelayQueue当中，DelayQueue会根据TimerTaskList对应的超时时间来排序。此时，我们只需要查看一下DelayQueue中队列头的超时时间，等待时间到就去执行任务即可，而不用使时间轮"空转"。
再简化一点：比如DelayQueue中的任务列表第一个超时时间为6ms，第二个为12ms，完成第一个任务后，计算得到,再等6ms执行第二个任务即可。
如果不用DealyQueue呢？那么会导致时间轮每1ms都去查一下当前的任务列表，并且把时间轮往前推动1ms，此时执行完第一个延时6ms的任务，7,8,9,10,11这几次时间的推动都是空推动，无故消耗了机器的资源。
总结：时间轮来实现任务项的插入和删除，DelayQueue来协助时间轮推进。回到上面的问题，如果延时操作的时间比较大，而时间轮大小又比较小，怎么办？
image.png
设计源于生活，Kafka设计了类似于钟表的多层时间轮结构，如果延时比较长，就放到高级时间轮中，等快到的时候会逐渐降级到底层的时间轮进行执行。
3.Kafka中的延时操作
延时生产：如果生产者发送消息时acks参数设置为-1.意为等待所有ISR集合所有副本都确认收到才能返回结果，或者捕获超时异常。
在消息写入leader副本的本地日志后，会创建一个延时生产操作，如果follower都完成了写入，那么就删除这个延时操作，否则就返回一个超时的信息。延时拉取：考虑这么一种情况，follower副本以及拉取到leader的最新位置，此时又向leader发送拉取请求，而leader并没有新的消息写入。
如果直接返回空的拉取结果给follower副本，在一直没有新消息写入的情况下，follower副本可能会一直发送拉取请求，空耗资源。
Kafka选择了延时操作来处理这种情况，如果收集不到足够多的消息，就会创建一个延时拉取操作来等待拉取到足够多的消息。（也就是说，如果消息够多，或者超时再返回结果，而不是直接返回。）
4.Kfka中的控制器
Kafka中的控制器选举工作依赖于ZooKeeper，成功竞选为控制器的broker会在ZooKeeper中创建/Controller这个临时节点。
控制器的作用？
在Kafka集群中会有一个或多个broker，其中一个broker会被选举为控制器，他负责管理整个集群中所有分区和副本的状态。他用来
1.监听主题、分区、broker相关的变化。
2.从ZooKeeper读取当前所有主题、分区及broker有关的信息并进行相应的管理。
3.启动并管理分区状态机。
4.更新集群的元数据信息。
5.如果配置了相应的参数，还会负责维护分区的优先副本的均衡。为什么要创建控制器，ZooKeeper不能满足吗？
早期的Kafka版本确实是依赖于ZooKeeper的，每个broker都会在ZooKeeper上位分区和副本注册大量的监听器。当分区副本发生变化的时候，会唤醒很多不必要的监听器，这种严重依赖ZooKeeper的设计会有脑裂、羊群效应，以及造成ZooKeeper过载的隐患（不止是服务器，旧版的消费者客户端存在同样的问题。）
在新版本中，只有控制器在ZooKeeper上注册相应的监听器。每个broker只需要监听/controller节点，以此来监听数据变化。
5.如何优雅关闭Kafka？
使用kill -s TERM $PIDS 或者kill -15 $PIDS的方式来关闭进程，注意千万不要使用kill -9
使用这样的关闭方式有两个优点：
1.可以让消息完全同步到磁盘上
2.在关闭服务之前，会对其上的leader副本进行迁移，减少了分区不可用的时间。
网友评论