美文网首页
kafka-offset

kafka-offset

作者: Let_Just_Do_it | 来源:发表于2019-07-15 16:43 被阅读0次

    什么是offset?

    1. 用于记录系统挂机后,重新消费的位置
    2. 保证消费的可靠性

    提交方式

    通过配置:

    1. 消费者手动提交
    2. 自动提交

    存储位置

    1. 早期ZK
    2. 目前kafka-__consumer_offsets

    为啥不用zk呢?
    这个写的不错
    [https://www.cnblogs.com/lianxuan1768/p/8127553.html]

    zk的读写性能比起redis来讲差太多
    毕竟zk不是用在频繁读写的场景
    https://www.jianshu.com/p/f30ae8e75d6d

    能不用zookeeper,就不用zookeeper,如果一定要用,尽量不要强依赖zookeeper;如果你要用到分布式锁,zookeeper是个不错的选择,如果不需要分布式锁,你应该优先考虑不用zookeeper;采用监听方式,而不是主动查询方式,相信zookeeper的监听推送吧,只要你实现的代码没问题,它还是很稳定的;不要对zookeeper频繁写入,它只应该存储控制信息和配置信息,也就是说,它更多应该用来做读操作。不要把zookeeper作为数据存储器。不要与那些大应用共用一个zookeeper集群,你可能会被它拖挂的。

    相关文章

      网友评论

          本文标题:kafka-offset

          本文链接:https://www.haomeiwen.com/subject/kmgnkctx.html