因为redis有去重功能，可以保证数据仅仅消费一次。
方案一）通过zookeeper提供的API，自己编写代码，将offset提交到zookeeper；服务启动时，从zookeeper读取offset，并作为"KafkaUtils.createDirectStream"的输入参数
优点：可与基于zookeeper的监控系统融合，对消费情况进行监控
缺点：频繁的读写offset可能影响zookeeper集群性能，从而影响到Kafka集群的稳定性
方案二）自己编写代码维护offset，并将offset保存到MongoDB或者redis
优点：不影响zookeeper集群性能；可基于MongoDB或者redis自主实现消费情况的监控
缺点：无法与基于zookeeper的监控系统融合
参考:基于redis的控制sparkStreaming 对接kafka 精确一次消费数据的解决方案
因为redis有去重功能，可以保证数据仅仅消费一次。方案一）通过zookeeper提供的API，自己编写代码，将o...
使用Flask-Session进行存储，将数据保存在redis中安装Redis和session 配置Redis 模...
什么是Redis的持久化 Redis上所有的数据都保存在内存中，对数据的更新将异步地保存在磁盘上。 Redis持久...
简单来说，Redis 就是一个数据库。不同于传统数据库将数据保存在磁盘中，Redis 将数据存在内存中，所以它也经...
记录使用redis中遇到得问题：1、程序将调用流程得functionId保存在redis中，redis中可能会保存...
[TOC] Redis持久化 RDB快照（snapshot） 在默认情况下， Redis 将内存数据库快照保存在名...
前言 在做某个需求时，将 token 存在了 SESSION 里，然而呢，SESSION 是存在 Redis 里的...
分布式 item 数据存在 redis 中。使用以上代码将 redis 中的 item 结果数据存入 mo...
redis -- AOF 什么是 AOF 通过日志方式将redis中的写命令进行日志记录，保存在硬盘文件中。 日志...
redis 持久化 什么是持久化 redis 将所有数据保持在内存中，对数据的更新将异步地保存在磁盘中 持久化的方...
本文标题：为什么将偏移量保存在redis
本文链接：https://www.haomeiwen.com/subject/gufoahtx.html
网友评论