Flume 概述

Flume 官网

Flume 是一个分布式的，高可靠的，高可用的服务去高效的收集，聚合并移动大量的日志数据
Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on streaming data flows

普遍应用案例：

Flume处理架构

图中Agent代表一个Flume
webserver(源端) ==> Flume ==> HDFS(目的地)

Flume是由Cloudera提供(现Apahce)的一个分布式，高可靠，高可用的服务，用于分布式的海量日志的高效收集，聚合，移动系统。

Flume发展史

Cloudera开发，一个开源版本0.9.2，命名Flume-OG
2011年 flume-728，新一代命名Flume-NG并贡献给Apache
2012.07 发布1.0
2015.05 发布1.6 推荐用此版本之后

业界同类产品对比

FLume: Cloudera/Apache提供，Java开发
Scribe: Facebook提供，C/C++ 开发，负载均衡不好，容错不好，不再维护
Chukwa: Yahoo/Apache提供，Java开发，负载均衡不好，容错不好，不再维护
Fluentd: Ruby开发
Logstash: ELK(Elasticsearch,Kibana) 也不错

Flume安装

前置条件

1. Java Runtime Environment - Java 1.8 or later
2. Memory - Sufficient memory for configurations used by sources, channels or sinks
3. Disk Space - Sufficient disk space for configurations used by channels or sinks
4. Directory Permissions - Read/Write permissions for directories used by agent

---

References

1. Flume 官网
2. Spark Streaming实时流处理项目实战