一，kafka的java客户端--消费者的实现
1. 消费者的基本实现
千锋教育
2. 关于消费者自动提交和手动提交offset
1）提交的内容
消费者无论是自动提交还是手动提交，都需要把所属的消费组（Consumer Group）+消费的某个主题（topic）+消费的某个分区（partition）及消费的偏移量（offset），这样的信息提交给集群的_consumer_offsets主题里面。
2）自动提交
消费者poll消息下来以后就会自动提交offset
千锋教育
注意：自动提交会丢失消息。因为消费者在消费前提交offset，有可能提交完后还没消费时，消费者挂了。
3）手动提交
需要把自动提交的配置改成false
千锋教育
手动又分成了两种
手动同步提交
在消费完消息后调用同步提交的方法，当集群返回ack前一直阻塞，返回ack后表示提交成功，执行之后的逻辑
千锋教育
手动异步提交
在消息消费完后提交，不需要等到集群ack，直接执行之后的逻辑，可以设置一个回调方法，供集群调用。
千锋教育
3. 长轮询poll消息
默认情况下，消费者一次会poll500条消息
千锋教育
代码中设置了长轮询的时间是1000毫秒
千锋教育
意味着：
如果一次poll到500条，就直接执行for循环
如果这一次没有poll到500条，且时间在1s内，那么长轮询继续poll，要么到500条，要么到1s
如果多次poll都没达到500条，且1s时间到了，那么直接执行for循环
如果两次poll的间隔超过30s，集群会认为消费者的消费能力过弱，该消费者被踢出消费组，触发rebalance机制。rebalance机制会造成性能开销，可以通过设置这个 参数，让一次poll的消息条数少一点。
千锋教育
4. 消费者的健康状态检查
消费者每隔1s向kafka集群发送心跳，集群发现如果超过10s没有续约的消费者，将被踢出消费组，触发该消费组的rebalance机制，将该分区交给消费组里的其他消费者进行消费。
千锋教育
5. 指定分区和偏移量，时间消费
指定分区消费
千锋教育
从头消费（消息回溯消费）
千锋教育
指定offset消费（需要指定分区，然后指定offset）
千锋教育
指定时间消费
根据时间，去所有的partition中确定该时间的offset，然后去所有的partition中找到该offset之后的消息开始消费。
千锋教育
6. 新消费组的消费offset规则
新消费组中的消费者在启动以后，默认会从当前分区的最后一条消息的offset+1开始消费（消费新消息）。可以通过以下的设置，让新的消费者第一次从头开始消费。之后开始消费新消息（最后消息的位置的偏移量+1）。
Latest : 默认的，消费新消息
earliest : 第一次从头开始消费。之后开始消费新消息（最后消息的位置的偏移量+1）
千锋教育
二，Springboot中使用kafka
1. 引入依赖
千锋教育
2. 编写配置文件
千锋教育
3. 编写生产者
千锋教育
4. 编写消费者
千锋教育
网友评论