Flume定义
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。
![](https://img.haomeiwen.com/i24499285/531ee4fdbd5a6a1f.png)
Flume基础架构
![](https://img.haomeiwen.com/i24499285/92af701ef27e3763.png)
Agent
Agent是一个JVM进程,它以事件的形式将数据从源头送至目的。
Agent主要有3个部分组成,Source、Channel、Sink。
Source
Source是负责接收数据到Flume Agent的组件
Source组件可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy。
Sink
Sink不断地轮询Channel中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统、或者被发送到另一个Flume Agent。
Sink组件目的地包括hdfs、logger、avro、thrift、ipc、file、HBase、solr、自定义。
#一个sink只能对应一个channel,一个chann可以多个sink
Channel
Channel是位于Source和Sink之间的缓冲区。因此,Channel允许Source和Sink运作在不同的速率上。Channel是线程安全的,可以同时处理几个Source的写入操作和几个Sink的读取操作。
Flume自带两种Channel:Memory Channel(写入内存易丢失)和File Channel(写入磁盘不易丢失)。
Event
传输单元,Flume数据传输的基本单元,以Event的形式将数据从源头送至目的地。Event由Header和Body两部分组成,Header用来存放该event的一些属性,为K-V结构,Body用来存放该条数据,形式为字节数组。
![](https://img.haomeiwen.com/i24499285/b61501734bcc48e1.png)
Flume入门
配置环境变量
#flume
export FLUME_HOME=/opt/module/flume
export PATH=$PATH:$FLUME_HOME/bin
Flume案例
![](https://img.haomeiwen.com/i24499285/a306e7ece3c9c7fc.png)
Flume案例1
命令行输入,在另一个端口U打开
Flume案例2
单个文件追加写入HDFS或log
![](https://img.haomeiwen.com/i24499285/025c883bbed6f8da.png)
Flume案例3
监控目录下多个新文件写入HDFS或log
![](https://img.haomeiwen.com/i24499285/a42267ee7ffc88a8.png)
Flume案例4
监控目录下多个追加文件写入HDFS或者log
![](https://img.haomeiwen.com/i24499285/297691d9e5bf8433.png)
网友评论