FLume

需求1：监控一个文件实时采集新增的数据输出到控制台。

Agent选型：exec source +memory channel +logger sink

exec.conf

图 exec.conf

再打开一个终端，输入文件内容：echo hello china >> myfile.txt

测试结果：

图 测试结果

需求2：将A服务器上的日志收集到B服务器

技术选型：

exec source+memory channel +avro sink

avro source +memory channel +logger sink

技术选型

avro sink：

avro

avro source

两个配置文件：agent1.conf：

图 agent1.conf

agent2.conf:

图 agent2.conf

启动：先启动agent2，后启动agent1.如果是两台主机，任意顺序都行。

启动命令-agent1： flume-ng agent -n a1 -c $FLUME_HOME/conf -f $FLUME_HOME/conf/agent1.conf -Dflume.root.logger=INFO,console

agent2：flume-ng agent -n a2 -c $FLUME_HOME/conf -f $FLUME_HOME/conf/agent2.conf -Dflume.root.logger=INFO,console

图 agent2启动成功 图 agent1启动成功

再打开一台终端，cd /usr/local (监听文件的路径)输入：echo hello hadoop>>myfile.txt.在启动agent2的终端控制台会出现：

图 agent2输出结果