美文网首页
flume的exec监控日志避免被监控服务重启而中断处理

flume的exec监控日志避免被监控服务重启而中断处理

作者: 机灵鬼鬼 | 来源:发表于2019-08-15 16:21 被阅读0次

Exec source介绍

Exec source在启动时运行Unix命令,并且期望它会不断的在标准输出中产生数据。 (stderr会被丢弃,除非logStdErr设置成true).如果进程因为某些原因退出,Exce Source也将退出并且不会再产生数据。

restart设置为true,就可以避免被监控服务重启而execsource自动退出,导致监控日志的进程终止的现象

ExecSource可以实时搜集数据,但是在Flume不运行或者Shell命令出错的情况下,数据将会丢失。 例如:通过tail -F去获取Nginx的访问日志,如果Flume挂掉,Nginx访问日志继续导入到日志文件中,那么在Flume挂掉的这段时间中,新产生的日志Flume是无法获取到的,为了更好的可靠性保证,可以考虑使用Spooling Directory Source,拿实时获取Nginx访问日志来说,Spooling Directory Source虽然做不到实时,但是也可以通过日志文件的切分,做到准实时。

相关文章

网友评论

      本文标题:flume的exec监控日志避免被监控服务重启而中断处理

      本文链接:https://www.haomeiwen.com/subject/jegzjctx.html