2. filebeat 配置记录

配置filebeat vim filebeat.yml
启动 filebeat nohup ./filebeat -e -c filebeat.yml &

filebeat.inputs: 
- type: log
  enabled: true  #启动这个模块
  paths:
    - /wls/applogs/rtlog/app.log  #监听这个路径下的文件的变化输出到 output 中，-代表的是yml的数组写法，可以配置多个
  fields:   # 自定义字段，可以设置日志来源等信息
      log_topics: server
  multiline:
        # 配置日志合并，因为很多情况下一行日志会分多次采集，所以需要合并处理
        pattern: '^[[:space:]]+(at|\.{3})\b|^Caused by:' #正则表达式
        negate:  false
        match:   after
- type: log
  enabled: true
  paths:
    - /var/www/bigbear_websocket/shared/log/ms.log
  fields:
    log_topics: socket

output.kafka:    # 监听到的日志信息输出到 kafka
   enabled: true    #开启这个配置
   hosts: ["kafka-1:9092","kafka-2:9092"]    #kafka 集群的ip
   topic: "applog"   # 指定要发送数据给kafka集群的哪个topic，若指定的topic不存在，则会自动创建此topic。
   version: "0.10.2.0"  # kafka 版本
   compression: gzip

processors:
- drop_fields:  #舍弃字段，filebeat会json日志信息，适当舍弃无用字段节省空间资源。
   fields: ["beat", "input", "source", "offset"]
close_inactive: 1m #没有新日志多长时间关闭文件句柄，默认5分钟可改短一些
clean_inactive: 72h  #多久清理一次registry文件，默认值为0，运行时间长可能会导致该文件变大带来性能问题。

logging.level: error  # logger 等级
name: app-server-ip #收集日志中对应主机的名字，建议name这里设置为IP，便于区分多台主机的日志信息。

来自： https://www.jianshu.com/p/a8b66f586fd4