flume

作者: 小王同学加油 | 来源:发表于2017-06-20 17:54 被阅读18次

官方文档:
http://flume.apache.org/FlumeUserGuide.html#spooling-directory-source

1 数量来源 Flume Sources

  • Avro
  • Thrift
  • Syslog
  • Netcat
  • Exec Source
    作用:

    Exec source runs a given Unix command

缺点:


日志文件发送变化处理不了.png
6 Spooling Directory Source  spooldir
>   SpoolingDirSource用于监控文件目录变化的,
  但是实际的使用中会有以下两个问题:
  一 是文件不能写,只能读。
 二 是延迟比较高,需要等待日志定期归档。
spooldir适合离线日志处理.png 解决办法.png

启动flume:

flume-ng agent --conf conf -f /usr/local/apache-flume-1.7.0-bin/conf/flume-conf.properties -n agent&

参考
1 基于Flume的野狗实时日志系统的演进和优化
https://blog.wilddog.com/?p=862&utm_source=tuicool&utm_medium=referral
2
https://yq.aliyun.com/articles/100902?t=t1

相关文章

  • Flume01

    Flume架构组成 Flume 负载均衡 Flume Agent内部原理 启动 Flume 监听

  • Flume

    总结 一、Flume的定义 1、flume的优势 2、flume的组成 3、flume的架构 二、 flume部署...

  • 玩转大数据计算之Flume

    Flume版本:我们使用Flume最新的版本:Flume NG 1.7.0 Flume架构Flume是一个分布式的...

  • Flume 入门

    一:Flume是什么: 二:特点: 三:Flume版本介绍 四:Flume NG基本架构 五:Flume NG核心...

  • flume的部署和测试

    1 flume 安装 flume下载:http://flume.apache.org/download.htmlf...

  • 091-BigData-19Flume与Flume之间数据传递

    上一篇:090-BigData-18Flume Flume与Flume之间数据传递 一、单Flume多Channe...

  • java大数据之flume

    一、Flume简介 1.1 Flume的位置 1.2 Flume是什么 (1)Flume提供一种分布式的,可靠地,...

  • Flume(一)概述

    Flume图标 Flume图标 Flume定义 Apache Flume是一个分布式,可靠且可用的系统,用于有效地...

  • Flume pull方式和push方式整合

    Pull方式 Flume Agent 编写 启动Flume Push方式 Flume Agent的编写 启动flu...

  • 4.Flume1.9安装

    1 Flume安装部署 1.1 安装地址 (1) Flume官网地址:http://flume.apache.or...

网友评论

      本文标题:flume

      本文链接:https://www.haomeiwen.com/subject/gzdeqxtx.html