Kafka服务关闭时,会先发送ControlledShutdown请求给主控制器,然后依次关闭网络服务端(Sock...[作者空间]
UpdateMetadata请求的元数据和LeaderAndIsr请求的分区状态信息是有关联的。UpdateMet...[作者空间]
代理节点处理控制器发送的LeaderAndIsr请求,服务端会交给副本管理器来处理。 创建分区 服务端处理Lead...[作者空间]
分区状态机和副本状态机 分区状态机和副本状态机需要获取集群中的所有分区和所有副本,控制器上下文会从ZK中读取集群的...[作者空间]
在kafka中每个消息代理节点(broker)都管理着集群中所有分区的一部分。kafka的控制器(KafkaCon...[作者空间]
时间轮 Kafka中存在大量的延迟操作,比如延迟生产,延迟拉取,延迟加入,延迟心跳等。kafka使用时间轮(Tim...[作者空间]
服务端在处理客户端的请求,针对不同的请求,可能不会立即返回响应结果给客户端。在处理这类请求时,服务端会为这类请求创...[作者空间]
消费者发送加入组请求和同步组请求给服务端,服务端将请求的处理交给消费组的协调者(GroupCoordinator)...[作者空间]
日志管理 消息代理节点的数据目录(log.dirs)可以设置多个目录,代理节点负责的所有分区分布在多个目录中。一个...[作者空间]
kafka生产者生产的消息需要存储在服务端,那么服务端就需要保证消息的健壮性,需要保证其线性扩展,负载均衡,故障容...[作者空间]
前面重点说了消费组的再平衡,等待同步,稳定状态。还有一种状态是离开状态。 消费者离开消费组的情况:消费者应用程序关...[作者空间]
书接上回。在写完上一篇文章后,回想内容时,其实还有疑问还没有解开:消费组状态从等待同步状态转换到准备再平衡状态,会...[作者空间]
消费者客户端向协调者发送了加入组请求和同步组请求,那么在协调者在接收到两种请求之后,协调者是怎么处理的喃? kaf...[作者空间]
消费者能发送拉取请求的前提条件是:1,消费者已经连接上了服务端协调者所在的节点;2,消费者必须获取到服务端协调者分...[作者空间]
消费者网络客户端轮询:ConsumerNetworkClient。ConsumerNetworkClient是对N...[作者空间]
消费者轮询通过拉取器(Fetcher)发送拉取请求,拉取器会调用消费者网络客户端的发送方法(send)和网络轮询方...[作者空间]
消费者为什么快?总结: 1,在客户端调用KafkaConsumer.poll时,轮询过程中,只要拉取到数据,就会直...[作者空间]
上回消费者已经把拉取消息之前的准备工作已经完成了,接下来就进行消息的拉取了。 轮询流程 首先看看最外层的poll方...[作者空间]
此篇开始进入kafka的另外一侧:消费者。kafka中的消费者比生产者要复杂的多,里面涉及到的消费组,偏移量等概念...[作者空间]
前面在说kafka生产者的时候,经常会提到topic。这是kafka中核心的概念。说起topic就会涉及到part...[作者空间]