大数据开发环境搭建之Flume安装部署

Flume安装部署

Flume下载地址

1、将apache-flume-1.7.0-bin.tar.gz上传到bigdata02的/home/bigdata/soft/目录下，并解压

tar -zxvf /home/bigdata/soft/apache-flume-1.7.0-bin.tar.gz /home/bigdata/apps/

2、修改flume-env.sh文件

cd /home/bigdata/apps/apache-flume-1.7.0-bin/conf/

cp flume-env.sh.template flume-env.sh

vim flume-env.sh

然后vim flume-env.sh，修改jdk路径

export JAVA_HOME=/usr/local/java/jdk1.8.0_73

3、查看版本

cd /home/bigdata/apps/apache-flume-1.7.0-bin/bin/

./flume-ng version

Flume经典部署方案

http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#setting-multi-agent-flow

1、单Agent采集数据

由一个 agent 负责把从 web server 中收集数据到 HDFS 。

2、多Agent串联

在收集数据的过程中，可以让多个 agent 串联起来，形成一条 event 数据线，进行传输，但 是注 意的是：相邻两个 agent 的前一个 agent 的 sink 类型要和后一个 agent 的 source 类型一 致。

3、多Agent合并串联

多个 agent 串联，并联成一个复杂的 数据收集架构。反映了 flume 的部署灵活。并且针对关键节 点，还可以进行高可用配置。

4、多路复用

一份数据流，可以被复制成多份数据流，交给多个不同组件进行处理。一般用于一边永久存储一边 进行计算。