flume基本概念

由Cloudera公司开源
分布式、可靠、高可用的海量日志采集系统
数据源可定制，可扩展
数据存储系统可定制，可扩展
中间件：屏蔽了数据源和数据存储系统的异构性

flume og/flume ng
flume og：original generation 0.9.x
flume ng：next/new generation 1.x

flume ng

event、client、agent

• event是flume数据传输的基本单元
• client是一个将原始log包装成events并且发送它们到一个或多个agent的实体。
• 一个agent包含source，channel，sink和其他组件

flume ng部署

wget -c http://www-eu.apache.org/dist/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
tar -zxvf apache-flume-1.8.0-bin.tar.gz 
mv apache-flume-1.8.0-bin /usr/local/apache-flume-1.8.0

cd /usr/local && ln -s apache-flume-1.8.0/ flume
cat >> /etc/profile << EOF

# for flume
export FLUME_HOME=/usr/local/flume
export PATH=\$FLUME_HOME/bin:\$PATH
EOF

source /etc/profile

cp conf/flume-env.sh.template conf/flume-env.sh
vim conf/flume-env.sh
export JAVA_HOME=/usr/local/java