美文网首页
flume采集配置

flume采集配置

作者: 王金松 | 来源:发表于2019-05-14 19:32 被阅读0次
a1.sources=hb hn
a1.channels=c1
a1.sinks=k1

#source hb_source
a1.sources.hb.type = org.apache.flume.source.kafka.KafkaSource  
a1.sources.hb.batchSize = 1000  
a1.sources.hb.batchDurationMillis = 2000  
a1.sources.hb.kafka.bootstrap.servers = 172.0.0.1:9092
a1.sources.hb.kafka.topics = test.topic
a1.sources.hb.kafka.consumer.group.id = sa
a1.sources.hb.setTopicHeader = true
a1.sources.hb.interceptors = i1
a1.sources.hb.interceptors.i1.type = com.jd.sa.WafLogInterceptor$Builder
a1.sources.hb.interceptors.i1.mysqlurl = jdbc:mysql://127.0.0.1:3358/logs
a1.sources.hb.interceptors.i1.mysqlusername = root
a1.sources.hb.interceptors.i1.mysqlpassword = root
a1.sources.hb.interceptors.i1.redismaxactive = 200
a1.sources.hb.interceptors.i1.redismaxidel = 20
a1.sources.hb.interceptors.i1.redismaxwait = 2000
a1.sources.hb.interceptors.i1.redisip = 127.0.0.1
a1.sources.hb.interceptors.i1.redisport = 6414
a1.sources.hb.interceptors.i1.redispassword = root
a1.sources.hb.interceptors.i1.pinurl = http://127.0.0.1/externalServices/simpleWafInfo
a1.sources.hb.interceptors.i1.totopic = info.log
a1.sources.hb.interceptors.i1.dbvalid = true

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = cloudwaf-log
a1.sinks.k1.kafka.bootstrap.servers = 127.0.0.1:9092
a1.sinks.k1.kafka.flumeBatchSize = 1000
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1
#a1.sinks.ki.kafka.producer.compression.type = snappy

a1.channels.c1.type=memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=1000

a1.sources.hb.channels=c1
a1.sinks.k1.channel=c1

相关文章

  • flume采集配置

  • Flume

    日志采集框架Flume 1 Flume介绍 1.概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和...

  • Flume的安装与使用详解

    Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件...

  • (一)Flume的安装

    Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件...

  • Flume的安装与使用详解

    Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件...

  • Flume的安装与使用详解

    Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件...

  • Flume的安装与使用详解

    Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件...

  • flume的安装和使用

    Flume的简单介绍Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件...

  • 数据平台实践①——Flume+Kafka+SparkStream

    蜻蜓点水 Flume——数据采集 如果说,爬虫是采集外部数据的常用手段的话,那么,Flume就是采集内部数据的常用...

  • Flume从入门到精通2:Flume实战之采集日志保存到HDFS

    案例:采集一个目录下面的日志信息,并将采集结果保存到HDFS上。 1.定义Agent配置文件 由Flume的体系结...

网友评论

      本文标题:flume采集配置

      本文链接:https://www.haomeiwen.com/subject/giweaqtx.html