美文网首页Flink
Flink消费kafka(动态拉取topic + 正则匹配多个t

Flink消费kafka(动态拉取topic + 正则匹配多个t

作者: 程序员小白成长记 | 来源:发表于2022-01-19 09:13 被阅读0次

    动态拉取topic

    //动态感知partition的变化   10ms动态获取topic的元数据,新增的partition会自动从最早的位点开始消费数据
          
    properties.setProperty(FlinkKafkaConsumerBase.KEY_PARTITION_DISCOVERY_INTERVAL_MILLIS, "10");
    

    正则匹配多个topic

    FlinkKafkaConsumer<String> consumer = new FlinkKafkaConsumer<>(Pattern.compile("test_topic.*"), deserializationSchema, properties);
    

    参考

    【1】flink 消费kafka (exactly-once),动态感知topic,partition, 消费多个topic,区分数据来源 API:https://blog.csdn.net/weixin_40954192/article/details/107561435

    相关文章

      网友评论

        本文标题:Flink消费kafka(动态拉取topic + 正则匹配多个t

        本文链接:https://www.haomeiwen.com/subject/xrqrhrtx.html