1.发布-订阅模式 TOPIC
同一条消息会被多个消费组消费，每个消费组设置一个消费者，以此实现广播。
2.队列模式 QUEUE
只有一个消费组、多个消费者，一条消息之被消费组中的某一个消费者消费，实现单播。
3.一旦有消费者加入或者退出消费组，那么消费组中的所有消费者都需要进行分区再平衡rebalance。如果订阅的分区发生了变化，消费者同样需要rebalance。
4.消费者需要将消费进度保存在外部的存储系统中，比如ZK或者kafka的consumer_offsets,消费进度是消费组级别的。消费者消费消息时需要定时将分区的最新消费进度保存到ZK中，rebalance时，消费者拥有的新分区消费进度可以从ZK中读取出来，恢复消费进度。
5.消息消费有三种模式，至多一次，至少一次，正好一次
至多一次：先保存消费进度，后处理消息。
至少一次：先处理消息，再提交消费进度。（kafka即此种类型，一种是定时间隔更新消费进度，一种是消费处理完毕更新消费进度）
正好一次：将处理消息和消费进度的更新包装为原子操作比如两阶段提交。
1.发布-订阅模式 TOPIC同一条消息会被多个消费组消费，每个消费组设置一个消费者，以此实现广播。 2.队列模式...
问：1.kafka数据分区和消费者的关系，2.kafka的数据offset读取流程，3.kafka内部如何保证顺序...
Kafka Manager安装 1.sbt安装 官方安装说明 验证安装 2.Kafka Manager安装 获取安...
一、Kafka的安装： 1.准备工作： 安装jdk 安装Zookeeper 2.Kafka集群部署： 1）解压安装...
kafka生态圈 Apache Kafka[https://cwiki.apache.org/confluence...
1.Kafka定义 Kafka是分布式的发布订阅消息系统，可划分的，冗余备份的持久性日志服务 2.Kafka的作用...
阅读以下内容你将了解到:1.Kafka的协议2.Kafka的时间轮实现(作用、原理、多级时间轮)3.Kafka中的...
Kafka概述是一个分布式的基于发布订阅模式的消息队列2.Kafka几个角色Broker： 每一个kafka进程实...
kafka结合流式处理框架实现更加好的功能实现的。 1.kafka架构图 2.kafka架构关系图 3.架构图解 ...
目录 1 架构介绍1.1 概念介绍2 Producer消息路由3 Consumer Group4 Push vs....
本文标题：Kafka专题：2.kafka消费者
本文链接：https://www.haomeiwen.com/subject/wspisqtx.html
网友评论