Docker部署ELK

作者: SILENCE_SPEAKS | 来源:发表于2023-06-14 13:58 被阅读0次

一、拉取镜像

docker pull elasticsearch:7.2.0
docker pull mobz/elasticsearch-head:5
docker pull kibana:7.2.0
docker pull logstash:7.2.0

二、运行容器

-p （小写）映射端口号，主机端口:容器端口
-P（大写）随机为容器指定端口号
-v 进行容器的挂载
–name 指定容器别名
–net 连接指定网络
-e 指定启动容器时的环境变量
-d 后台运行容器
–privileged=true 使容器有权限挂载目录

ElasticSearch 的默认端口是 9200，把宿主环境 9200 端口映射到 Docker 容器中的 9200 端口，容器命名为 es。

docker run -d --restart=always --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.2.0

三、配置跨域

3.1 进入容器

docker exec -it es /bin/bash

3.2 进行配置

# 进入配置文件夹
cd config

# 修改配置文件
vi elasticsearch.yml

# 加入跨域配置
http.cors.enabled: true
http.cors.allow-origin: "*"

3.3 重启容器

由于修改了配置，因此需要重启 ElasticSearch 容器。

docker restart es

3.4 访问

访问结果

四、运行 kibana 容器

docker run -d  --restart=always --name kibana  --link es:elasticsearch -p 5601:5601 kibana:7.2.0

4.1 设置中文

# 进入容器
docker exec -it kibana /bin/bash

# 进入配置文件夹
cd config

# 修改配置文件
vi kibana.yml

# 修改elasticsearch连接（如果是本机部署，ip需填写内网ip）
elasticsearch.hosts: [ "http://elasticsearch的ip地址:端口号" ]
# 加入中文配置（保存后重启kibana）
i18n.locale: "zh-CN"

4.2 安装ik分词器

安装ik分词器，下载ik.zip（版本必须和elasticsearch相同）
https://github.com/medcl/elasticsearch-analysis-ik/releases

# 下载ik分词器
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.2.0/elasticsearch-analysis-ik-7.2.0.zip

# 解压后通过ftp上传到服务器下
# 将这个文件夹拷贝到elasticsearch中
docker cp /home/silence/elk/ik es:/usr/share/elasticsearch/plugins

# 查看是否拷贝成功，进入elasticsearch/plugins/ik中：
docker exec -it es /bin/bash
cd /usr/share/elasticsearch/plugins
ls
cd ik
ls

# 重新启动elasticsearch容器
docker restart es

五、运行 Head 容器

docker run -d --restart=always  --name es_head -p 9100:9100 mobz/elasticsearch-head:5

转载：Docker 简单部署 ElasticSearch

六、安装 LogStash

docker pull logstash:7.2.0
docker run -d --restart=always --name logstash -p 5044:5044 -p 9600:9600 logstash:7.2.0

6.1 进入容器

docker exec -it logstash /bin/bash

6.2 修改 config 下的 logstash.yml 文件，主要修改 es 的地址（如果是本机部署，ip需填写内网ip）：

vi config/logstash.yml

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://elasticsearch的ip:端口号" ]

# 保存退出
:wq

6.3 修改 pipeline 下的 logstash.conf 文件：

vi pipeline/logstash.yml

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"  # 允许任意主机发送日志
    port => 5044
    codec => json_lines    # 数据格式
  }
}

output {
  elasticsearch {
      hosts  => ["http://elasticsearch的ip:端口号"]   # ElasticSearch 的地址和端口（如果是本机部署，ip需填写内网ip）
      index  => "elk"         # 指定索引名
      codec  => "json"
  }
  stdout {
    codec => rubydebug
  }
}

# 保存退出
:wq

6.4 查看日志

docker logs -f logstash

6.5 重新启动elasticsearch容器

docker restart logstash

6.6 查看es是否获取数据

http://localhost:9200/_cat/indices?v

es索引列表

6.7 Kibana新建索引模式

Kibana创建索引模式_1

Kibana创建索引模式_2

Kibana创建索引模式_3

转载：Docker快速搭建部署ELK实战详解
 转载：Docker安装ELK详细步骤

七、Springboot通过log4j2+logstash整合日志

7.1 `pom.xml`文件中增加log4j2相关依赖

　　　　<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <exclusions><!-- 去掉logback配置 -->
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--log4j2 相关版本最好选择最新版本-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-log4j2</artifactId>
        </dependency>

7.2 `application-dev.yml`引入log4j2.xml日志配置文件

# log4j2日志配置文件
logging:
  config: classpath:config/log4j2-dev.xml

7.3 `log4j2-dev.xml`文件配置

logstash两种连接方式：Socket连接/Gelf连接

log4j2.xml配置1

log4j2.xml配置2

<?xml version="1.0" encoding="UTF-8"?>
<!--Configuration后面的status，这个用于设置log4j2自身内部的信息输出，可以不设置，当设置成trace时，你会看到log4j2内部各种详细输出-->
<!--monitorInterval：Log4j能够自动检测修改配置 文件和重新配置本身，设置间隔秒数-->
<configuration monitorInterval="5">
    <!--日志级别以及优先级排序: OFF > FATAL > ERROR > WARN > INFO > DEBUG > TRACE > ALL -->

    <!--变量配置-->
    <Properties>
        <!-- 格式化输出：%date表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度 %msg：日志消息，%n是换行符-->
        <!-- %logger{36} 表示 Logger 名字最长36个字符 -->
        <property name="LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] [%p] [%c:%L] -&#45;&#45; %m%n" />
        <Property name="PATTERN">{"host": "%host", "logger": "%logger", "level": "%level", "message": "[%thread] [%c:%L] --- %message"}%n</Property>
        <!-- 定义日志存储的路径，不要配置相对路径 -->
        <property name="FILE_PATH" value="C:/springSecurity/" />
        <property name="FILE_NAME" value="securitylog" />
    </Properties>

    <appenders>

        <console name="Console" target="SYSTEM_OUT">
            <!--输出日志的格式-->
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <!--控制台只输出level及其以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
            <ThresholdFilter level="Debug" onMatch="ACCEPT" onMismatch="DENY"/>
        </console>

        <!--文件会打印出所有信息，这个log每次运行程序会自动清空，由append属性决定，适合临时测试用-->
        <File name="Filelog" fileName="${FILE_PATH}/test.log" append="false">
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </File>

        <!-- 这个会打印出所有的info及以下级别的信息，每次大小超过size，则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档-->
        <RollingFile name="RollingFileInfo" fileName="${FILE_PATH}/info.log" filePattern="${FILE_PATH}/${FILE_NAME}-INFO-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
            <ThresholdFilter level="info" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval属性用来指定多久滚动一次，默认是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件开始覆盖-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 这个会打印出所有的warn及以下级别的信息，每次大小超过size，则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档-->
        <RollingFile name="RollingFileWarn" fileName="${FILE_PATH}/warn.log" filePattern="${FILE_PATH}/${FILE_NAME}-WARN-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
            <ThresholdFilter level="warn" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval属性用来指定多久滚动一次，默认是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件开始覆盖-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 这个会打印出所有的error及以下级别的信息，每次大小超过size，则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档-->
        <RollingFile name="RollingFileError" fileName="${FILE_PATH}/error.log" filePattern="${FILE_PATH}/${FILE_NAME}-ERROR-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
            <ThresholdFilter level="error" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval属性用来指定多久滚动一次，默认是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件开始覆盖-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- 这个会打印出所有的error及以下级别的信息，每次大小超过size，则这size大小的日志会自动存入按年份-月份建立的文件夹下面并进行压缩，作为存档-->
        <RollingFile name="RollingFileDebug" fileName="${FILE_PATH}/debug.log" filePattern="${FILE_PATH}/${FILE_NAME}-ERROR-%d{yyyy-MM-dd}_%i.log.gz">
            <!--控制台只输出level及以上级别的信息（onMatch），其他的直接拒绝（onMismatch）-->
            <ThresholdFilter level="debug" onMatch="ACCEPT" onMismatch="DENY"/>
            <PatternLayout pattern="${LOG_PATTERN}"/>
            <Policies>
                <!--interval属性用来指定多久滚动一次，默认是1 hour-->
                <TimeBasedTriggeringPolicy interval="1"/>
                <SizeBasedTriggeringPolicy size="10MB"/>
            </Policies>
            <!-- DefaultRolloverStrategy属性如不设置，则默认为最多同一文件夹下7个文件开始覆盖-->
            <DefaultRolloverStrategy max="15"/>
        </RollingFile>

        <!-- logstash Socket连接配置-->
        <Socket name="logstash" host="logstash部署ip地址" port="logstash部署端口号" protocol="TCP">
            <PatternLayout pattern="${PATTERN}" />
            <!--<JsonLayout properties="true"/>-->
        </Socket>

        <!-- logstash Gelf连接配置-->
        <!--<Gelf name="logstash-gelf" host="udp:logstash部署ip地址" port="logstash部署端口号" version="1.1" ignoreExceptions="true">
            <Field name="timestamp" pattern="%d{yyyy-MM-dd HH:mm:ss.SSS}" />
            <Field name="logger" pattern="%logger" />
            <Field name="level" pattern="%level" />
            <Field name="simpleClassName" pattern="%C{1}" />
            <Field name="className" pattern="%C" />
            <Field name="method" pattern="%M" />
            <Field name="line" pattern="%L" />
            <Field name="server" pattern="%host" />
        </Gelf>-->
    </appenders>

    <!--Logger节点用来单独指定日志的形式，比如要为指定包下的class指定不同的日志级别等。-->
    <!--然后定义loggers，只有定义了logger并引入的appender，appender才会生效-->
    <loggers>

        <!--过滤掉spring和mybatis的一些无用的DEBUG信息-->
        <logger name="org.mybatis" level="info" additivity="false">
            <AppenderRef ref="Console"/>
        </logger>
        <!--监控系统信息-->
        <!--若是additivity设为false，则 子Logger 只会在自己的appender里输出，而不会在 父Logger 的appender里输出。-->
        <Logger name="org.springframework" level="info" additivity="false">
            <AppenderRef ref="Console"/>
        </Logger>

        <Logger name="com.security.persisence" level="debug" additivity="false">
            <AppenderRef ref="Console"/>
            <appender-ref ref="RollingFileDebug"/>
        </Logger>

        <AsyncLogger name="com.security" level="info" includeLocation="false" >
            <!--<appender-ref ref="Console"/>-->
            <appender-ref ref="logstash" />
        </AsyncLogger>

        <root level = "info">
            <appender-ref ref="Console"/>
            <appender-ref ref="RollingFileInfo"/>
            <appender-ref ref="RollingFileError"/>
            <!--<appender-ref ref="RollingFileWarn"/>-->
            <!--<appender-ref ref="RollingFileDebug"/>-->
            <!--<appender-ref ref="Filelog"/>-->

            <!-- logstash 配置-->
            <appender-ref ref="logstash" />
        </root>
    </loggers>

</configuration>

转载：springboot集成log4j2 + logstash 异步输出日志
 转载：Springboot通过log4j2+logstash整合日志到Elasticsearch中

记部署过程中遇到的问题以及解决方法

问题1：Kibana 在config/kibana.yaml 中修改host ,把默认的 http://elasticsearch:9200改为 http://localhost:9200，启动报错，查看日志：

# docker logs 容器ID， 查看的日志信息：
2023-06-14 16:15:32 {"type":"log","@timestamp":"2023-06-14T08:15:32Z","tags":["warning","elasticsearch","admin"],"pid":1,"message":"No living connections"}
2023-06-14 16:15:32 {"type":"log","@timestamp":"2023-06-14T08:15:32Z","tags":["warning","task_manager"],"pid":1,"message":"PollError No Living connections"}

解决办法：
把kibana.yaml里面的host改为主机的真实IP（内网172网段ip）

问题2：logstash 修改文件：config/logstash.yml、pipeline/logstash.yml文件时，把elasticsearch的hosts中的IP地址改为localhost/127.0.0.1时，启动报错，查看日志：

2023-06-14 16:01:53 [2023-06-14T08:01:53,270][WARN ][logstash.outputs.elasticsearch] Attempted to resurrect connection to dead ES instance, but got an error. {:url=>"http://127.0.0.1:9200/", :error_type=>LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError, :error=>"Elasticsearch Unreachable: [http://127.0.0.1:9200/][Manticore::SocketException] Connection refused (Connection refused)"}

解决办法：
把config/logstash.yml、pipeline/logstash.yml文件里面elasticsearch的hostsIP地址改为主机的真实IP（内网172网段ip）

`filebeat`未完善内容

docker pull docker.elastic.co/beats/filebeat:7.2.0
docker run -d --restart=always  --name filebeat  docker.elastic.co/beats/filebeat:7.2.0

Docker部署ELK

一、拉取镜像

二、运行容器

三、配置跨域

3.1 进入容器

3.2 进行配置

3.3 重启容器

3.4 访问

四、运行 kibana 容器

4.1 设置中文

4.2 安装ik分词器

五、运行 Head 容器

六、安装 LogStash

6.1 进入容器

6.2 修改 config 下的 logstash.yml 文件，主要修改 es 的地址（如果是本机部署，ip需填写内网ip）：

6.3 修改 pipeline 下的 logstash.conf 文件：

6.4 查看日志

6.5 重新启动elasticsearch容器

6.6 查看es是否获取数据

6.7 Kibana新建索引模式

七、Springboot通过log4j2+logstash整合日志

7.1 `pom.xml`文件中增加log4j2相关依赖

7.2 `application-dev.yml`引入log4j2.xml日志配置文件

7.3 `log4j2-dev.xml`文件配置

记部署过程中遇到的问题以及解决方法

`filebeat`未完善内容

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

Docker部署ELK

一、拉取镜像

二、 运行容器

三、 配置跨域

3.1 进入容器

3.2 进行配置

3.3 重启容器

3.4 访问

四、 运行 kibana 容器

4.1 设置中文

4.2 安装ik分词器

五、 运行 Head 容器

六、 安装 LogStash

6.1 进入容器

6.2 修改 config 下的 logstash.yml 文件，主要修改 es 的地址（如果是本机部署，ip需填写内网ip）：

6.3 修改 pipeline 下的 logstash.conf 文件：

6.4 查看日志

6.5 重新启动elasticsearch容器

6.6 查看es是否获取数据

6.7 Kibana新建索引模式

七、Springboot通过log4j2+logstash整合日志

7.1 pom.xml文件中增加log4j2相关依赖

7.2 application-dev.yml引入log4j2.xml日志配置文件

7.3 log4j2-dev.xml文件配置

记部署过程中遇到的问题以及解决方法

filebeat未完善内容

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

二、运行容器

三、配置跨域

四、运行 kibana 容器

五、运行 Head 容器

六、安装 LogStash

7.1 `pom.xml`文件中增加log4j2相关依赖

7.2 `application-dev.yml`引入log4j2.xml日志配置文件

7.3 `log4j2-dev.xml`文件配置

`filebeat`未完善内容