日志采集工具对比

1.flume

flume是高性能，高可用的分布式日志收集系统，具有可靠性
flume依赖于JVM，是一个分布式管道架构，flume注重数据的传输，直接使用channel做持久化，保证数据的不丢失，数据只有存储在下一个存储位置，数据才会从当前的channel中删除。

Source：Source负责接收输入数据，并将数据写入管道。能够支持HTTP，RPC和Spooling Directory，Spooling支持监视一个目录或者文件，解析其中新生成的事件。

Channel：Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。

Sink：Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。

缺点：对数据的预处理支持较弱

2.logstash

logstash是ELK(Elastic Search + logstash + Kibana)，如果日志要使用Elastic Search存储，kibana暂时，那么logstash是最好的选择

优点：简单灵活，内部使用了buffer缓存，有很多插件，功能丰富，特别是针对字段的处理和提取；

缺点：性能稍微慢一些，内部没有persist化，特殊情况下会有数据丢失的情况。

参考文档：https://www.cnblogs.com/wzj4858/p/8252730.html

3.Scribe

4.Chukwa