美文网首页Just Do IT微服务与Spring Cloud微服务(microservices)
基于docker部署的微服务架构(六): 日志统一输出到kafk

基于docker部署的微服务架构(六): 日志统一输出到kafk

作者: 月冷心寒 | 来源:发表于2016-11-26 21:18 被阅读1037次

    前言

    上一篇 基于docker部署的微服务架构(五): docker环境下的zookeeper和kafka部署 中,已经成功部署了 kafka 环境,现在我们要改造之前的项目,使用 log4j2kafka appender 把日志统一输出到 kafka 中。

    修改日志系统

    spring boot 默认使用 logback 作为日志工具,这里需要作出修改。
    service-registry-demo 为例,其他项目做相同的修改。
    修改 pom.xml 文件,去掉默认的日志依赖,并引入 log4j2

    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter</artifactId>
        <exclusions>
            <exclusion>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-starter-logging</artifactId>
            </exclusion>
        </exclusions>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-log4j2</artifactId>
    </dependency>
    

    引入 kafka 客户端:

    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.10.0.1</version>
    </dependency>
    

    修改 <properties> 标签的内容,增加 kafka server 的配置,后边创建的 log4j2.xml 从这里读取 kafka 的服务器地址:
    <kafka.bootstrap.servers>kafka宿主机IP:9092</kafka.bootstrap.servers>
    docker profile中配置 docker 环境的 kafka server<kafka.bootstrap.servers>kafka:9092</kafka.bootstrap.servers>,在启动容器时使用 --link kafka,连接kafka容器。

    resources 目录下新建 log4j2.xml

    <?xml version="1.0" encoding="UTF-8"?>
    <Configuration>
        <Properties>
            <Property name="logFormat">
                %d{yyyy-MM-dd HH:mm:ss.SSS}{GMT+8} [@project.artifactId@] [%thread] %-5level %logger{35} - %msg %n
            </Property>
            <Property name="kafkaBootstrapServers">
                @kafka.bootstrap.servers@
            </Property>
        </Properties>
        <Appenders>
            <Console name="STDOUT" target="SYSTEM_OUT">
                <PatternLayout pattern="${logFormat}"/>
            </Console>
    
            <RollingFile name="RollingFile" fileName="logs/@project.artifactId@.log"
                         filePattern="logs/@project.artifactId@.%d{yyyy-MM-dd}.log">
                <PatternLayout>
                    <Pattern>
                        ${logFormat}
                    </Pattern>
                </PatternLayout>
                <Policies>
                    <TimeBasedTriggeringPolicy/>
                </Policies>
            </RollingFile>
    
            <Kafka name="basicLog" topic="basic-log">
                <PatternLayout>
                    <Pattern>
                        ${logFormat}
                    </Pattern>
                </PatternLayout>
                <Property name="bootstrap.servers">${kafkaBootstrapServers}</Property>
            </Kafka>
    
            <Async name="FileAsync">
                <AppenderRef ref="RollingFile"/>
            </Async>
    
            <Async name="basicLogAsync">
                <AppenderRef ref="basicLog"/>
            </Async>
    
        </Appenders>
        <Loggers>
            <Logger name="org.apache.kafka" level="info"/>
            <Root level="info">
                <AppenderRef ref="STDOUT"/>
                <AppenderRef ref="FileAsync"/>
                <AppenderRef ref="basicLogAsync"/>
            </Root>
        </Loggers>
    </Configuration>
    

    简单说明下 log4j2.xml 配置文件中的内容:
    <Properties> 标签中定义了 logFormatkafkaBootstrapServers 两个属性,这两个属性在下边的日志配置中需要用到,其中 kafkaBootstrapServers 的属性值从 pom.xml 中读取,可以根据不同的 profile 动态替换。
    <Appenders> 标签中定义了一系列 appender,从上到下分别是:

    1. 控制台 appender
    2. 根据日期分割的日志文件 appender
    3. 把日志输出到kafkaappender,定义了 topicbasic-log
    4. 在日期分割的 appender 之上做了异步处理的 appender,不会阻塞程序运行
    5. kafka apender 之上做了异步处理的 appender,不会阻塞程序运行

    <Loggers> 标签中使用了 145,这3种 appender23 这两种 appender 在发生异常时会阻塞程序运行,所以 45 在其之上进行了异步处理。

    demo源码 spring-cloud-3.0

    查看kafka中的日志数据

    启动 service-registry-demo,进入 kafka 容器:
    运行 docker ps,找到kafka的 CONTAINER ID,运行 docker exec -it ${CONTAINER ID} /bin/bash,进入kafka容器。
    进入kafka默认目录 cd /opt/kafka_2.11-0.10.1.0
    查看 basic-log 的内容:
    bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic basic-log --from-beginning

    使用docker-maven-plugin打包并生成docker镜像

    这部分的内容和前几篇文章基本相同,需要注意 docker 环境下 kafka server 的配置,在启动容器时需要 --link 连接 kafka 容器。
    具体配置参见 demo源码 spring-cloud-3.0

    最后

    经过上边的配置,我们已经把 service-registry-demo 的日志输出到了 kafka,其他项目也做同样的修改,这样所有项目的日志都集中到了 kafka 。接下来继续搭建 ELK 日志统计系统,利用 logstashkafka 中的日志数据导入到 elasticsearch ,最后用 kibana 显示日志数据。

    相关文章

      网友评论

        本文标题:基于docker部署的微服务架构(六): 日志统一输出到kafk

        本文链接:https://www.haomeiwen.com/subject/udugpttx.html