美文网首页
log4j 过滤日志到 flume

log4j 过滤日志到 flume

作者: _浅墨_ | 来源:发表于2018-07-23 16:07 被阅读138次

功能需求:将 log4j 打印的日志部分(这里是以 "ApiName" 开头的日志)上传到 flume。

实现:
  1. 设置 log4j.properties 文件配置信息:
log4j.appender.flume=com.joeychang.controller.LogFlumeAppender
log4j.appender.flume.layout=org.apache.log4j.PatternLayout
log4j.appender.flume.Hostname= 118.25.50.11
log4j.appender.flume.Port=44446
log4j.appender.flume.UnsafeMode = true
  1. 实现自定义 LogFlumeAppender 类 :
public class LogFlumeAppender extends Log4jAppender {

    @Override
    public synchronized void append(LoggingEvent event) throws FlumeException {
        if(event.getMessage().toString().startsWith("ApiName")){
            super.append(event);
        }
    }
}

简单几行代码,解决一个不错的功能,Perfect ...

相关文章

  • log4j 过滤日志到 flume

    功能需求:将 log4j 打印的日志部分(这里是以 "ApiName" 开头的日志)上传到 flume。 实现: ...

  • 基于Flume+Log4j+Kafka的日志采集架构方案

    本文将会介绍如何使用 Flume、log4j、Kafka进行规范的日志采集。 Flume 基本概念 Flume是一...

  • logstash使用filter删除不需要的日志

    数据流 日志的流转路径:logstash收集log4j的日志,并对日志进行过滤,输出给elasticsearch,...

  • 统计系统

    spark+flume+hadoop flume将日志收集到HDFS文件系统中,spark进行统计计算

  • Nginx=>Flume=>Kafka 流程总结

    nginx=>flume=>kafka 编写flume 日志收集文件 nginx日志access.log====>...

  • 007.课程环境搭建:flume-ng-1.5.0-cdh5.3

    flumen离线日志收集工具->收集数据清洗数据->存储到hive 安装flume 1、将课程提供的flume-n...

  • 03 hadoop 日志收集

    0 目标 收集系统 docker 137个服务日志中错误日志, 根据服务名,跟日期显示 1 flume 收集日志到...

  • Flume

    日志采集框架Flume 1 Flume介绍 1.概述 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和...

  • Flume快速入门

    一、Flume简介 1.1 Flume概述: Flume是开源日志系统。是一个分布式、可靠性和高可用的海量日志聚合...

  • Flume连接HDFS和Hive

    Flume连接HDFS 进入Flume配置 配置flume.conf 测试telnet通信 查看日志找到HDFS文...

网友评论

      本文标题:log4j 过滤日志到 flume

      本文链接:https://www.haomeiwen.com/subject/uesjmftx.html