flume配置实例

Flume agent的配置保存在配置文件中，同一个文件中可以同时配置多个agent。每个agent都需要配置source、channel、sink的信息。

配置文件

配置文件编写的步骤：

• 从整体上描述代理agent中sources、sinks、channels所涉及到的组件

    # Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1

• 详细描述agent中每一个source、sink与channel的具体实现

    # Describe/configure the source
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = localhost
    a1.sources.r1.port = 44444

    # Describe the sink
    a1.sinks.k1.type = logger

    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100

• 通过channel将source与sink连接起来

    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

启动服务

输入以下命令：

flume-ng  agent -n a1  -c  ../conf   -f  ../conf/example.file   
-Dflume.root.logger=DEBUG,console  

参数说明：

• -n 指定agent名称(与配置文件中代理的名字相同)
• -c 指定flume中配置文件的目录
• -f 指定配置文件
• -Dflume.root.logger=DEBUG,console 设置日志等级

发送数据

使用telnet发送数据：

image.png

然后再flume控制台就可以看到输出的结果：

image.png