前言： 本文是flume学习系列的开篇，主要介绍了flume的各种组件及相关配置。但是本篇文章并不打算从环境搭建开始，因为比较简单而且网上资料也很详尽：
001.jpg
So,研读了一下官方文档，特此把Flume的一些重要知识点总结一下。能力有限，如有错误，提前感谢各位大佬提出。
我还是前言：我不是人造革，是真皮。开车之前我们起码要知道Flume是个什么鬼吧？Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。好，开始飙车。
一、Architecture
首先，介绍一下。。。wait，wait，
002.jpg
蛤蛤蛤，这是flume的结构图：
003.png
分析一下这个图，箭头的指向代表数据的流向。数据从Web 服务器 --> Source --> Channel-->Sink-->HDFS。我们需要关注的是中间被矩形框起来的部分（Agent），它就是Flume的核心。从名字上我们就能直观的想到，Source（源）是用来收集数据的，Channel（管道）是用来传输数据的，Sink（沉槽）是用来存储数据的。
很简单，Flume以Agent为最小的独立运行单位。一个Agent就是一个JVM进程。单Agent由Source、Sink和Channel三大组件构成。上面这种单Agent结构已经可以完成很多任务了，但是，实际中有各种花式需求。
004.jpg
比如：一个电商公司，每天产生很多的交易记录，这些记录需要被存储，同时公司也可能会对这些记录进行分析，给用户实时推荐，那就需要把这些产生的数据流向不同的目的地。这要怎么办呢？
005.jpg
不慌，大牛早就想到这些情况了，Flume中有multi-hop（多跳）、Consolidation（合并）、Multiplexing the flow（多路数据流）来解决各种花式问题。
我认为，multi-hop（多跳）一般用来做缓冲，防止源产生数据太快处理不过来，
006.png
Consolidation（合并）用来把多个源合并到一个目的地。
007.png
Multiplexing the flow（多路数据流）用来把单个源分发给多个目的地。
008.png
二、Configuration
这部分就是如何去使用flume了，flume的配置文件在安装目录下的conf/flume.conf。注意：安装完flume后，这个文件是.template后缀的。我们需要把它拷贝一份。下面我们通过一个小案例简单介绍一下flume的配置。netcat通过localhost的44444端口给source发消息，最终以日志的形式打印出来。
# Name the components on this agent
# a1是agent名，r1,k1,c1是a1的三个组件
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
#设置source的一些属性，这些属性的key可以从User Guide中查到，value是flume已经为我们写好的一些常用source。
#后面我们可以自定义source
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# Describe the sink
#设置sink的一些属性
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
#设置channel的一些属性
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
#把source和sink通过channel链接起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
这就完成了一个最基本的flume配置。然后就是启动flume。
$ bin/flume-ng agent --conf ../conf --conf-file ../conf/flume.conf --name a1 -Dflume.root.logger=DEBUG,console
这里有几个参数，--conf后面跟配置文件目录，--conf-file后面跟配置文件， --name后面跟要启动的Agent。 -D后面跟一些其他的启动参数，比如日志相关的。
三、Source，Channel，Sink
下面这个表格是Flume为我们提供的现成的Source，Channel，Sink。已经可以满足很多需求了，如果我们想根据自己的业务需求去定制，可以模仿这些现成的类去写，准备后面的文章去动手实现一下。
table1.png
More important，官方文档十分详细：准备好起飞了么？
009.jpg
官网中的User Guide对这些组件的各种配置描述的十分详细，炒鸡友好。举个栗子：比较常用的HTTP Source，（通过HTTP get或post请求接收事件）文档中是这样的：
010.png
011.gif
相应的 Channel、Sink也都一样。如果需要查询如何配置，直接去官网看。
四、总结
我觉得理解和使用flume并不难，但是要实现一些自定义的功能，就需要研读一下flume的源码，然后进行模仿。还有就是没有一整套的处理流程去学习（从收集数据到传递到沉槽）。所以后面决定写一些Demo，以便于更好的掌握flume。
网友评论