消费者消费数据的三种方式

指定topic $~~~~$ $~~~~$ $~~~~$ 读取的是指定topic下所有分区的数据
指定topic partition $~~~~$ $~~~~$ 读取的是指定topic下的某个分区的数据
指定topic partition offset $~~~~$ 读取的是指定topic下指定分区的某个offset开始

订阅主题 subscribe 消费该主题的所有分区数据
订阅主题指定分区 assign 消费指定主题分区的数据
精准消费定位消费 seek 消费指定主题分区指定偏移量消费
需要先订阅topic 和分区,然后才能seek 偏移量

消费者开始消费数据时,从哪里开始消费

step1: 第一次消费规则由属性决定
lastest 从0开始
earliest 从最新的开始(默认)

      //设置消费的位置 从哪里开始消费  合法参数：latest |  earliest
      props.setProperty(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG,"earliest");

step2:第二次及以后从上一次消费完的offset +1位置开始消费
以上成为消费记录,那么kafka如何保存消费记录的呢?
$~~~~$ 消费者内存中自己维护程序不断不重启的情况下【优先使用】。
$~~~~$ 持久化存储在磁盘、存储介质：【重启程序的依据】
$~~~~$ $~~~~$ 存储kafka中（默认）自创了主题_consumer_offsets
$~~~~$ $~~~~$ 存储zk/mysql/redis

内存消费记录:kafka自己记录的非常标准,但是程序重启之后就没有了,需要从文件当中读

文件消费记录:kafka自己有一个topic 专门用来存储每个消费者消费的offset

image.png

offset偏移量管理

消费者消费完的记录需要提交,怎样提交?

自动提交
- 根据时间周期提交下一下的消费的offset,默认每五秒提交一次
- 风险:
  数据丢失
  数据重复
  
  image.png

为了防止数据丢失,或者重复消费我们选择手动提交

手动提交offset
先消费数据,然后再提交offset
风险:如果此时我已经消费了两个分区的数据,第三个分区还没有消费完,程序崩溃了,offset没有提交,就会导致,下次程序启动的时候重复消费数据
手动提交--基于分区提交offset
offsets.put(partition,new OffsetAndMetadata(consumerOffset+1));
把当前分区消费的最后一条日志的offset +1,提交上去。
手动提交分区offset探秘

image.png

消费者消费数据分配策略

问题：Kafka 消费组Consumer Group中多个消费者Consumer如何消费Topic队列中数据？
前提-kafka中消费规则:
一个分区只能被一个消费者消费
一个消费者可以消费多个分区
最理想的状态:消费者和分区一对一
策略:
范围分配
轮询分配
粘性分配

1_RangeAssignor 分配策略-范围分配

Kafka中默认的分配规则

一个topic中所有的分区按照消费者的个数平均分,多的就分配给编号小的消费者
优点:适用于消费topic比较少的情况,分配会比较平均
ex: 一个topic内有七个分区有三个消费者c1 c2 c3
c1 (0,1,2) c2(3,4) c3(56)
缺点: 不适应于多个消费者消费多个topic,会造成编号小的负载压力大的情况
列如:三个消费者消费三个topic 每个topic有7个分区会导致
c1 -t1(0,1,2) t2(0,1,2) t3(0,1,2)
c2 -t1(3,4) t2(3,4) t3(3,4)
c3 t1(5,6) t2(5,6) t3(5,6)

2_RoundRobinAssignor 分配策略-轮询策略

给每个Topic和其分区编号,轮询分配给消费者
一个消费者分配一个轮询分配
适合：所有消费者都订阅相同的主题。
缺点：如果有消费者故障或者加入新的消费者之前全推倒重新分配

image.png
缺点: c1、c2消费第一个topic，c2、c3消费第二个Topic、c3消费第三个Topic，指定消费者消费Topic
会导致c3 (t2-p2,t3-p1-p2-p3)负载过大
3_StickyAssignor 分配策略-粘性策略(推荐)
粘性策略注意针对的是消费过程者,如果有消费者挂掉了.该如何分配其正在消费的分区.
不出故障的时候跟轮询一样,出故障之后正常的都不动,轮询的分配故障后的分区