一、简单介绍
logstash主要分为3个部件。
1 input
logstash的输入源，用于接收日志，主要可以从file（文件）、beats（beat组件）、syslog（第三方平台syslog）、stdin（控制台输入）
2 filter
logstash的过滤器，内置了大量的过滤插件，可以对收到的日志进行各种处理。
常用插件介绍
- grok 正则匹配，可以将一段很长日志的内容通过正则匹配，拆解到多个字段中。同时logstash中也内置了很多正则表达式。参考官方文档https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns
- date 时间格式转换
- mutate 字段处理，可以字段重命名，转换数据类型等。
- geoip 公网ip地址查询
- dissect 根据分隔符进行字段截取，适用于分隔符简单明确，消耗比grok小很多。
3 output
logstash的输出源，常用的就是两个
stdout （控制台输出，常用于调试）
elasticsearch （输出到es）
网友评论