flume

作者: 小王同学加油 | 来源:发表于2017-06-20 17:54 被阅读18次

    官方文档:
    http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source

    1 数量来源 Flume Sources

    • Avro
    • Thrift
    • Syslog
    • Netcat
    • Exec Source
      作用:

      Exec source runs a given Unix command

    缺点:


    日志文件发送变化处理不了.png
    6 Spooling Directory Source  spooldir
    >   SpoolingDirSource用于监控文件目录变化的,
      但是实际的使用中会有以下两个问题:
      一 是文件不能写,只能读。
     二 是延迟比较高,需要等待日志定期归档。
    
    spooldir适合离线日志处理.png 解决办法.png

    启动flume:

    flume-ng agent --conf conf -f /usr/local/apache-flume-1.7.0-bin/conf/flume-conf.properties -n agent&

    参考
    1 基于Flume的野狗实时日志系统的演进和优化
    https://blog.wilddog.com/?p=862&utm_source=tuicool&utm_medium=referral
    2
    https://yq.aliyun.com/articles/100902?t=t1

    相关文章

      网友评论

          本文标题:flume

          本文链接:https://www.haomeiwen.com/subject/gzdeqxtx.html