背景
Flume是由Cloudera公司开源的，分布式可靠，高可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动、最后存储到一个中心化数据存储系统中。由原来的Flume OG到现在的Flume NG,进行了架构重构，并且现在NG版本完全不兼容原来的OG版本，经过架构重构后，Flume NG更像是一个轻量级的小工具，适应各种方式的日志收集，并支持failover和负载均衡
版本
两个版本：Flume OG和Flume NG
Flume OG:0.9.x或cdh3以及更早的版本,由agent、collector、master等组件构成
Flume NG:1.x或cdh4以及之后的版本,由Agent、client等组件构成
Flume OG存在的问题:
1.代码工程臃肿
2.核心组件设计不合理
3.核心配置不标准
4.日志传输不稳定
Flume NG的特点:
1.NG只有一种角色的节点:代理节点(Agent)
2.没有collector,master节点，这是核心组件最核心的变化
3.去除了physical nodes,local nodes 的概念和相关内容
4.agent节点的组成也发生了变化，脱离了zookeeper
架构设计
架构优势
NG在核心组件上进行了大规模的调整
大大地降低了对用户的要求，如用户无需搭建zookeeper集群
用户也不用纠结于OG的模糊概念
有利于Flume和其他技术、hadoop周边组件的整合
在功能上更加强大、可扩展性更高
组件
Event:一个数据单元，带有一个可选的消息头
Client:是一个将原始log包装成events并且发送它们到一个或多个agent的实体,在flume的拓扑结构中不是必须的
Agent:一个独立的flume进程，包含组件source,channel,sink,其他组件,它利用这些组件将events从一个节点传输到另一个节点或最终目的,是flume流的基础部分
Source:负责接收event或通过特殊机制产生event，并将events批量的放到一个或多个Channel，必须至少和一个channel关联
Channel:中转Event的一个临时存储,保存有source组件传递过来的Event,当sink成功的将event发送到下一个channel或最终目的,event从Channel移除，不同的channel提供的持久化水平是不一样的
Sink:负责将event传输到下一跳或最终目的，成功后将event从channel移除，必须作用一个确切的channel
其他组件：
Interceptor:
作用于source,按照预设的顺序在必要的地方装饰和过滤events
Channel Selector :
允许source基于预设的标准，从所有的channel中，选择一个或多个Channel
Sink Processor
多个sink可以构成一个sink group,Sink Processor 可以通过组中所有sink实现负载均衡，也可以在一个sink失败时转移到另一个
Flow:Event从源点到达目的点的迁移的抽象
配置实例
注意:同一个Source可以将数据存储到多个Channel,实际上是Replication,一个sink只能从一个Channel中读取数据
1.多个Agent顺序连接
可以将多个Agent顺序连接起来，将最初的数据源经过收集，存储到最终的存储系统,应该控制这种顺序连接的Agent的数量，因为数据流经的路径变长了，如果不考虑failover的话，出现故障将影响整个Flow上的Agent收集服务
2.多个Agent的数据汇聚到同一个Agent
这种情景应用的场景比较多，比如要收集Web网站的用户行为日志，Web网站为了可用性使用的负载均衡的集群模式，每个节点都产生用户行为日志，可以为每个节点都配置一个Agent来单独收集日志数据，然后多个Agent将数据最终汇聚到一个用来存储数据存储系统，如HDFS上
3.多路Agent
这种模式，有两种方式，一种是用来复制，另一种是用来分流
配置文件中指定selector的type的值为replication:复制
配置文件中指定selector的type的值为Multiplexing:分流
实现load balance功能
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2 k3
a1.sinkgroups.g1.processor.type = load_balance
a1.sinkgroups.g1.processor.backoff= true
a1.sinkgroups.g1.processor.selector = round_robin
a1.sinkgroups.g1.processor.selector.maxTimeOut = 10000
实现failover功能
Failover Sink Processor 能够实现failover功能，具体流程类似load balance,但是内部处理机制与load balance完全不一样:Failover Sink Processor维护一个优先级Sink组件的列表，只要有一个Sink可用,Event就被传递到下一个组件，如果一个sink能够成功处理Event，则会加入到一个Pool中，否则就被移除Pool并计算失败次数，设置一个惩罚因子
a1.sinkgroups = g1
a1.sinkgroups.g1.sinks = k1 k2 k3
a1.sinkgroups.g1.processor.type = failover
a1.sinkgroups.g1.processor.priority.k1=5
a1.sinkgroups.g1.processor.priority.k2=6
a1.sinkgroups.g1.processor.priority.k3=7
a1.sinkgroups.g1.processor.maxpenalty=2000
快速进入安装配置: Flume介绍之安装配置
网友评论