美文网首页大数据生态圈
Fluem的安装及使用

Fluem的安装及使用

作者: z小赵 | 来源:发表于2017-10-03 10:48 被阅读11次

    1.下载flume1.6.0,下载地址:http://archive.apache.org/dist/flume/

    2.减压,在conf目录下修改flume-env.sh文件,将java的安装目录配置进去

    3.编写flume的agent,在conf目录下创建一个名为a1.conf,内容如下:

    #创建agent,为source,channel,sinks指定名称

    a1.sources = r1

    a1.channels = c1

    a1.sinks = k1

    #创建source,这里采用netcat的模式,即通过telnet的方式

    a1.sources.r1.type = netcat

    #指定主机名

    a1.sources.r1.bind = master

    #指定端口号

    a1.sources.r1.port = 44444

    #创建channel,指定为memory的方式存储channel内容

    a1.channels.c1.type = memory

    #可选参数,指定channel的最大可容纳的event数量

    a1.channels.c1.capacity = 1000

    #可选参数,指定一次传输给sink的字节数

    a1.channels.c1.transactionCapacity = 1000

    #创建sink,并指定以logger的方式输出

    a1.sinks.k1.type = logger

    #可选参数,指定一次输出的最大字节数

    a1.sinks.k1.maxBytesToLog = 1024

    #将source,sink连接到channel上

    a1.sources.r1.channels = c1

    a1.sinks.k1.channel = c1

    4.如果没有安装telnet,则先安装telnet,若已经安装了,可跳过这一步,安装的软件如下图所示,文章末尾会给出下载地址:

    安装命令为:

    chmod u+x ./*            给要安装的软件附执行权限

    rpm -ivh ./*.rpm          这里偷懒,直接一键安装了所有软件

    /etc/rc.d/init.d/xinetd   restart       重启telnet服务

    5.启动fluem的agent,在fluem的减压目录下,运行如下命令启动:

    bin/fluem-ng agent  --conf  conf  --name  a1  --conf-file  conf/a1.conf  -Dflume.root.logger=DEBUG,console

    6.通过netstat查看是否启动了指定的端口,这里是44444:

    netstat  -tnlp

    7.启动telnet,发送消息,看flume是否能接受到消息:

    telnet master 44444

    至此,fluem的安装搭建及测试完成,欢迎大家批评指正!!!


    telnet下载地址:

    链接:http://pan.baidu.com/s/1dFs5Snn  密码:gzpy


    fluem的官方参考wiki地址:

    http://flume.apache.org/FlumeUserGuide.html#logger-sink

    相关文章

      网友评论

        本文标题:Fluem的安装及使用

        本文链接:https://www.haomeiwen.com/subject/mbbxyxtx.html