filebeat windows安装使用

说明：本例主要采集日志文件到kafka为例

filebeat简述

      Filebeat是一个日志文件托运工具，在服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读）

      Filebeat工作流程：当开启filebeat程序时，它会启动一个或多个探测器（prospectors）去检测你指定的日志目录或文件，对于探测器找出的每一个日志文件，filebeat启动收割进程（harvester），每一个收割进程读取一个日志文件的新内容，并发送这些新的日志数据到处理程序（spooler），处理程序会集合这些事件，最后filebeat会发送集合的数据到你指定的地点。

使用：

1、解压安装包，不需要安装，直接可以使用

2、filebeat.yml主要配置文件配置：

#=========================== Filebeat inputs =============================

filebeat.inputs:

- input_type: log

enabled: true

paths:

- c:\Users\15324\Desktop\log1\u_ex*.log

- c:\Users\15324\Desktop\log2\u_ex*.log

#=========================== kafka output =============================

output.kafka:

hosts: ["10.0.0.212:6667","10.0.0.213:6667","10.0.0.219:6667"]

topic: test-topic1

required_acks: 1

#=========================== 其他 output =============================

注：（其他配置不做用修改）日志输出格式：json

3、开启kafka控制台consumer：

命令：kafka-console-consumer.sh --zookeeper hdp01:2181, hdp02:2181,hdp03:2181 --topic test-topic1 --from-beginning

4、启动命令：filebeat -e -c filebeat.yml

-e：关闭日志输出

-c：配置文件位置

4、kafka控制台日志输出：

详见：我的微博 https://blog.csdn.net/lihuan1124/article/details/81453807