美文网首页
日志采集工具对比

日志采集工具对比

作者: zhglance | 来源:发表于2019-11-25 22:29 被阅读0次

1.flume

flume是高性能,高可用的分布式日志收集系统,具有可靠性
flume依赖于JVM,是一个分布式管道架构,flume注重数据的传输,直接使用channel做持久化,保证数据的不丢失,数据只有存储在下一个存储位置,数据才会从当前的channel中删除。

Source:Source负责接收输入数据,并将数据写入管道。能够支持HTTP,RPC和Spooling Directory,Spooling支持监视一个目录或者文件,解析其中新生成的事件。

Channel:Channel 存储,缓存从source到Sink的中间数据。可使用不同的配置来做Channel,例如内存,文件,JDBC等。使用内存性能高但不持久,有可能丢数据。使用文件更可靠,但性能不如内存。

Sink:Sink负责从管道中读出数据并发给下一个Agent或者最终的目的地。Sink支持的不同目的地种类包括:HDFS,HBASE,Solr,ElasticSearch,File,Logger或者其它的Flume Agent。

缺点:对数据的预处理支持较弱

2.logstash

logstash是ELK(Elastic Search + logstash + Kibana),如果日志要使用Elastic Search存储,kibana暂时,那么logstash是最好的选择

优点:简单灵活,内部使用了buffer缓存,有很多插件,功能丰富,特别是针对字段的处理和提取;

缺点:性能稍微慢一些,内部没有persist化,特殊情况下会有数据丢失的情况。

参考文档:https://www.cnblogs.com/wzj4858/p/8252730.html

3.Scribe

4.Chukwa

相关文章

  • 日志采集工具对比

    1.flume flume是高性能,高可用的分布式日志收集系统,具有可靠性flume依赖于JVM,是一个分布式管道...

  • 流量回放原理

    流量回放是通过日志采集再处理来获取所需要的数据 日志采集 通过logstash工具从应用容器拉取日志信息,可以根据...

  • 流量回放原理

    流量回放是通过日志采集再处理来获取所需要的数据 日志采集 通过logstash工具从应用容器拉取日志信息,可以根据...

  • Flume基础学习

    Flume是一款非常优秀的日志采集工具。支持多种形式的日志采集,作为apache的顶级开源项目,Flume再大数据...

  • 常见网页采集工具对比

    占位

  • filebeat windows安装使用

    说明:本例主要采集日志文件到kafka为例 filebeat简述 Filebeat是一个日志文件托运工具,在...

  • 《大数据之路》读书笔记

    第2章 日志采集 2.1 浏览器的页面日志采集 主要分为两类:页面展现日志采集、页面交互日志采集 2.1.1 页面...

  • Flume_数据采集工具简介

    大数据常用的采集工具 我们的数据源一般有两种 业务数据库mysql,oracle等 sqoop采集 日志 ...

  • Logstash采集Nginx日志写入ES

    Logstash采集Nginx日志方式 RPM安装Logstash采集Nginx日志 Docker安装Logsta...

  • Flume日志采集系统与Logstash对比

    Flume日志采集系统——初体验(Logstash对比版) 本文就从如下的几个方面讲述下我的使用心得:初体验——与...

网友评论

      本文标题:日志采集工具对比

      本文链接:https://www.haomeiwen.com/subject/nidswctx.html