美文网首页
sparkStreaming读取kafka中数据时,如何有效的对

sparkStreaming读取kafka中数据时,如何有效的对

作者: scott_alpha | 来源:发表于2019-10-01 22:23 被阅读0次

    在spark streaming读取kafka的数据中,spark streaming提供了两个接口读取kafka中的数据,分别是KafkaUtils.createDstream,KafkaUtils.createDirectStream.
    KafkaUtils.createDstream自动把offset更新到zk中,默认会丢数据,效率低;KafkaUtils.createDirectStream不会使用zk来存储offset,需要自己手动维护offset,可以把offset存储在MySQL等关系型数据库或者HBASE上面。

    这个问题答案不太好,需要再好好考虑下。

    相关文章

      网友评论

          本文标题:sparkStreaming读取kafka中数据时,如何有效的对

          本文链接:https://www.haomeiwen.com/subject/rqclpctx.html