Flume入门（sink配置kafka）

环境分析：上一节我们的服务日志最终用logger打印，这个只是一个测试，生成环境不能这样使用，那么生产环境一般会把日志保存在hdfs中或通过kafka传送给实时计算框架比如spark streaming进行实时计算。那么我们就来演示一下如何发送到kafka的，首先我们的flume是1.7版本，kafka是0.10版本，flume每个版本配置不一样，要根据官网进行调整。如下就是我们的简略图：

前两个的配置我就不再说了，前两节已经包含，主要贴一下kafka的flume配置如下图：

如上标志的是基本配置，其他的可以暂时不用，基本要配置kafka的topic和服务，以及flume的kafkasink的类名，接下来我们就启动zookeeper，kafka，以及flume，启动flume我们要先启动第三台，然后在启动第一台。然后创建一下kafka的topic，代码如下：

//创建flumeKafkaTesttopic

bin/kafka-topics.sh --create --zookeeper kafka01.com:2181,kafka02.com:2181,kafka03.com:2181 --replication-factor 2 --partitions 1 --topic flumeKafkaTest

//查看是否创建成功

bin/kafka-topics.sh --list --zookeeper kafka01.com:2181

//启动一个消费者来展示flume传过来的数据

bin/kafka-console-consumer.sh --zookeeper kafka01.com:2181,kafka02.com:2181,kafka03.com:2181 --topic flumeKafkaTest

然后我们就可以测试，并且查看消费客户端是否成功展示：

以上就是完整操作内容，验证成功！