Docker——ELK

作者: 我已不是少年郎 | 来源:发表于2020-03-26 11:53 被阅读0次

docker-elk配置sentinl插件发送钉钉告警
docker安装ELK后kibana的汉化
SpringBoot开发专题-SpringBoot+ELK(Do
基于docker搭建elk ， filebeat采集日志
Docker下ELK设置
docker-compose安装elk日志分析系统
2019-02-26ELK Docker 填坑
待实验项目2018-09-14
Docker ElK安装部署使用教程
Docker搭建ELK并集成微服务

如果把日志存储文件的话，每次查问题要登录云服务器去下载日志，特别是有多台主机时，还要去多个主机上下载。而ELK则是把所有的日志都集中写入，通过浏览器的方式集中查看，相对来说很方便快捷。

Elasticsearch：日志检索和分析
Logstash：日志的收集，处理和储存
Kibana：日志的可视化

本文采用logback配置IP的方式来写入日志。

业务代码 —> logback —> Tcp/IP —> logstash —> elasticsearch

1、准备

1.1、镜像

docker hub 上没有latest这个tag，所以要像下面这样带上必须带上版本号。

docker pull elasticsearch:7.6.1
docker pull logstash:7.6.1
docker pull kibana:7.6.1

1.2、挂载文件

elasticsearch需要配置一个文件目录。
logstash需要配置一个conf文件。
kibana需要配置一个yml文件。

1.2.1、logstash.conf

input配置一个tcp接收，相当于logstash自己是服务器，监听了9250端口接收这个端口发过来的日志。
output 配置elasticsearch的地址，并创建一个索引，索引供kibana搜索使用。
注意：index 后面的字母不能有大写必须全部小写

input {
  tcp {
    host => "0.0.0.0"
    port => 9250
    mode => "server"
    tags => ["tags"]
    codec => json_lines #可能需要更新logstash插件
  }
}

output {
 #stdout{codec =>rubydebug}
  elasticsearch {
    hosts => ["localhost:9200"]  #这块配置需要带端口号
    index => "anfasmart-%{+YYYY.MM.dd}"
  }
}

1.2.2、kibana.yml

主要修改elasticsearch.hosts，改为elasticsearch所在的IP地址和端口。

#
# ** THIS IS AN AUTO-GENERATED FILE **
#

# Default Kibana configuration for docker target
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://127.0.0.1:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
i18n.locale: zh-CN

2、启动ELK

2.1、编写docker-compose的yml文件

elk.yml

version: "3"
services:

  elasticsearch:
    image: elasticsearch:7.6.1
    #environment参数配置不一定有用
    environment:  
      - discovery.type=single-node  
      - "ES_JAVA_OPTS=-Xms256m -Xmx256m"
    volumes:
      - "/home/mgr/volumes/elasticsearch/data:/usr/share/elasticsearch/data"
    restart: always
    network_mode: "host"
    container_name: elasticsearch

  logstash:
    image: logstash:7.6.1
    volumes:
      - "./logstash.conf:/usr/share/logstash/pipeline/logstash.conf:ro"
    restart: always
    network_mode: "host"
    container_name: logstash
    depends_on:
      - elasticsearch

  kibana:
    image: kibana:7.6.1
    volumes:
      - "./kibana.yml:/usr/share/kibana/config/kibana.yml:rw"
    restart: always
    network_mode: "host"
    container_name: kibana
    depends_on:
      - elasticsearch

2.2、编写脚本方便使用

elk.sh

#!/bin/bash

mkdir -p /home/mgr/volumes/elasticsearch/data
chmod a+rwx /home/mgr/volumes/elasticsearch/data

#docker-compose 已经添加到系统环境变量里了这里直接调用即可
docker-compose -f elk.yml up -d

执行脚本启动。

3、logback写入日志

3.1、配置logback.xml

logstash的IP引用maven配置文件pom.xml里的值，<logstashIP>192.168.1.81:9250</logstashIP>

logback.xml
<!-- 级别从高到低 OFF 、 FATAL 、 ERROR 、 WARN 、 INFO 、 DEBUG 、 TRACE 、 ALL -->
<!-- 日志输出规则 根据当前ROOT 级别，日志输出时，级别高于root默认的级别时 会输出 -->
<!-- 以下 每个配置的 filter 是过滤掉输出文件里面，会出现高级别文件，依然出现低级别的日志信息，通过filter 过滤只记录本级别的日志 -->
<!-- scan 当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true。 -->
<!-- scanPeriod 设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug 当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 -->
<configuration scan="false" scanPeriod="60 seconds" debug="false">
    <!-- 动态日志级别 -->
    <jmxConfigurator />
    <!-- 定义日志文件 输出位置，引用maven配置文件pom.xml里的值 -->
    <property name="log_dir" value="${logPath}" />
    <!-- 日志最大的历史 30天 -->
    <property name="maxHistory" value="30" />
    <!-- Logstash的IP地址,引用maven配置文件pom.xml里的值 -->
    <property name="logstash_ip" value="${logstashIP}" />

    <!-- ConsoleAppender 控制台输出日志 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>
                <!-- 设置日志输出格式 -->
                %d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger - %msg%n
            </pattern>
        </encoder>
    </appender>

    <!-- ERROR级别日志 -->
    <!-- 滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件 RollingFileAppender -->
    <appender name="ERROR" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 过滤器，只记录WARN级别的日志 -->
        <!-- 果日志级别等于配置级别，过滤器会根据onMath 和 onMismatch接收或拒绝日志。 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!-- 设置过滤级别 -->
            <level>ERROR</level>
            <!-- 用于配置符合过滤条件的操作 -->
            <onMatch>ACCEPT</onMatch>
            <!-- 用于配置不符合过滤条件的操作 -->
            <onMismatch>DENY</onMismatch>
        </filter>
        <!-- 最常用的滚动策略，它根据时间来制定滚动策略.既负责滚动也负责出发滚动 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日志输出位置 可相对、和绝对路径 -->
            <fileNamePattern>
                ${log_dir}/error/error_%d{yyyy-MM-dd}.txt
            </fileNamePattern>
            <!-- 可选节点，控制保留的归档文件的最大数量，超出数量就删除旧文件假设设置每个月滚动，且<maxHistory>是6， 则只保存最近6个月的文件，删除之前的旧文件。注意，删除旧文件是，那些为了归档而创建的目录也会被删除 -->
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>
                <!-- 设置日志输出格式 -->
                %d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger - %msg%n
            </pattern>
        </encoder>
    </appender>

    <!-- WARN级别日志 appender -->
    <appender name="WARN" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- 过滤器，只记录WARN级别的日志 -->
        <!-- 果日志级别等于配置级别，过滤器会根据onMath 和 onMismatch接收或拒绝日志。 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <!-- 设置过滤级别 -->
            <level>WARN</level>
            <!-- 用于配置符合过滤条件的操作 -->
            <onMatch>ACCEPT</onMatch>
            <!-- 用于配置不符合过滤条件的操作 -->
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!--日志输出位置 可相对、和绝对路径 -->
            <fileNamePattern>${log_dir}/warn/warn_%d{yyyy-MM-dd}.txt</fileNamePattern>
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- INFO级别日志 appender -->
    <appender name="INFO" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>INFO</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${log_dir}/info/info_%d{yyyy-MM-dd}.txt</fileNamePattern>
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- DEBUG级别日志 appender -->
    <appender name="DEBUG" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>DEBUG</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${log_dir}/debug/debug_%d{yyyy-MM-dd}.txt</fileNamePattern>
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>

    <!-- TRACE级别日志 appender -->
    <appender name="TRACE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>TRACE</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${log_dir}/trace/trace_%d{yyyy-MM-dd}.txt</fileNamePattern>
            <maxHistory>${maxHistory}</maxHistory>
        </rollingPolicy>
        <encoder>
            <pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} %-5level %logger - %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>${logstash_ip}</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" >
            <pattern>
                <pattern>
                    {
                    "logLevel": "%level",
                    "serviceName": "${springAppName:-}",
                    "pid": "${PID:-}",
                    "thread": "%thread",
                    "class": "%logger{40}",
                    "rest": "%message"
                    }
                </pattern>
            </pattern>
        </encoder>
    </appender>

    <!-- root级别 DEBUG -->
    <root>
        <!-- 打印debug级别日志及以上级别日志 -->
        <level value="info" />
        <!-- 控制台输出 -->
        <appender-ref ref="console" />
        <!-- 文件输出 -->
<!--        <appender-ref ref="ERROR" />
        <appender-ref ref="INFO" />
        <appender-ref ref="WARN" />
        <appender-ref ref="DEBUG" />
        <appender-ref ref="TRACE" />-->
        <!-- LOGSTASH -->
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

3.2、添加maven依赖

<!-- logback日志配置开始 -->
        <!-- slf4j -->
        <dependency>
            <groupId>org.slf4j</groupId>
            <artifactId>slf4j-api</artifactId>
            <version>${slf4j.version}</version>
        </dependency>

        <!-- logback -->
        <dependency>
            <groupId>net.logstash.logback</groupId>
            <artifactId>logstash-logback-encoder</artifactId>
            <version>6.3</version>
        </dependency>

        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-core</artifactId>
            <version>${logback.version}</version>
        </dependency>

        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>${logback.version}</version>
        </dependency>

        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-access</artifactId>
            <version>${logback.version}</version>
        </dependency>
        <!-- logback日志配置结束 -->

最后业务逻辑代码不需要任何改变，像正常使用log一样就OK。

浏览器输入：192.168.1.81:5601 ，就能看到kibana的管理界面，然后创建索引之后就能查看日志了。

docker-elk配置sentinl插件发送钉钉告警
安装elk 下载elk docker工具包并启动 elk 6.6.1 修改docker-compose.yml挂载...
docker安装ELK后kibana的汉化
这里docker安装elk是安装的下载数量较多的sebp/elk docker pull sebp/elk 1.进...
SpringBoot开发专题-SpringBoot+ELK(Do
1. 下载ELK的Docker镜像 2. docker-compose安装ELK docker-compose.y...
基于docker搭建elk ， filebeat采集日志
docker 搭建 elk 利用 sebp/elk[https://hub.docker.com/r/sebp/e...
Docker下ELK设置
1获取、启动elk 1.1获取elk镜像 $ docker pull sebp/elk 1.2启动elk镜像启动...
docker-compose安装elk日志分析系统
1：什么是ELK ？ 2：ELK有什么用？ 3：docker-compose环境安装 4：build-elk镜像 ...
2019-02-26ELK Docker 填坑
docker run --user esuser --name es -d -v ~/Docker/elk-sta...
待实验项目2018-09-14
[docker ELK]https://segmentfault.com/a/1190000016144694
Docker ElK安装部署使用教程
Docker ElK安装部署使用教程一、简介 1、核心组成 ELK由Elasticsearch、Logstash...
Docker搭建ELK并集成微服务
拉取ELK集成镜像启动ELK 配置ELK（以下内容全部在容器内操作）进入docker容器配置Logstash...