Docker运维笔记六：使用Docker-Compose安装EL

接上篇文章，尝试使用Docker-Compose安装ELK，即Elasticsearch、Logstash、Kibana

1、创建挂载目录、挂载配置文件

• Elasticsearch挂载

mkdir -p /var/docker/elasticsearch/data /var/docker/elasticsearch/logs
mkdir -p /var/docker/logstash

对Elasticsearch的挂载目录授予最高权限：

chmod 777 -R /var/docker/elasticsearch

创建配置文件elasticsearch.yml：

vi /var/docker/elasticsearch/elasticsearch.yml

#添加内容
http.host: 0.0.0.0
http.cors.enabled: true
http.cors.allow-origin: "*"
transport.host: 0.0.0.0
action.auto_create_index: "*"

• kibana挂载

mkdir -p /var/docker/kibana/data

创建配置文件kibana.yml：

vi /var/docker/kibana/kibana.yml

#添加内容
elasticsearch.hosts: http://es:9200/
server.host: "0.0.0.0"
server.name: kibana
elasticsearch.requestTimeout: 90000
i18n.locale: zh-CN #中文

对kibana的挂载目录授予最高权限：

chmod 777 -R /var/docker/kibana

• Logstash挂载
  接着创建Logstash配置文件logstash.conf：

vi /var/docker/logstash/logstash.conf

#添加内容
input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "cai-logstash-%{+YYYY.MM.dd}"
  }
}

Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足，我们可以使用下面这条命令来增加内存：

sysctl -w vm.max_map_count=262144

2、在/home/docker-compose-yml下创建elk.yml配置文件，内容为

version: '3'

services:
  elasticsearch:
    image: elasticsearch:7.3.0
    container_name: elasticsearch
    restart: always
    environment:
      - cluster.name=elasticsearch   #集群名称为elasticsearch
      - xpack.security.enabled=false
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #jvm内存分配为512MB
      - "discovery.type=single-node" #单节点启动
      - "TZ=Asia/Shanghai"
    volumes:
      - /var/docker/elasticsearch/data:/usr/share/elasticsearch/data
      - /var/docker/elasticsearch/logs:/usr/share/elasticsearch/logs
      - /var/docker/elasticsearch/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
      - /etc/localtime:/etc/localtime
    ports:
      - 9200:9200
      - 9300:9300
  kibana:
    image: kibana:7.3.0
    container_name: kibana
    restart: always
    links:
      - elasticsearch:es  #配置elasticsearch域名为es
    depends_on:
      - elasticsearch
    volumes:
       - /var/docker/kibana/kibana.yml:/usr/share/kibana/config/kibana.yml
       - /var/docker/kibana/data:/usr/share/kibana/data
       - /etc/localtime:/etc/localtime
    ports:
      - 5601:5601
  logstash:
    image: logstash:7.3.0
    container_name: logstash
    restart: always
    volumes:
      - /var/docker/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf
      - /etc/localtime:/etc/localtime
    depends_on:
      - elasticsearch
    links:
      - elasticsearch:es #配置elasticsearch域名为es
    ports:
      - 4560:4560

准备完毕后，运行下面这条命令创建这些容器：

docker-compose -f elk.yml up -d

#查看日志
docker logs ID

如果防火墙开启的，注意开放端口9200、9300和5601

firewall-cmd --add-port=9200/tcp
firewall-cmd --zone=public --add-port=9200/tcp --permanent 
firewall-cmd --add-port=9300/tcp
firewall-cmd --zone=public --add-port=9300/tcp --permanent 
firewall-cmd --add-port=5601/tcp
firewall-cmd --zone=public --add-port=5601/tcp --permanent 

在Windows下使用浏览器访问：http://192.168.197.91:9200，有数据返回说明elasticsearch安装成功
在Windows下使用浏览器访问：http://192.168.197.91:5601，有界面出现说明Kibana安装成功

接着回到虚拟机，使用如下命令进入到Logstash容器中：

docker exec -it logstash sh

安装json_lines插件，然后退出：

bin/logstash-plugin install logstash-codec-json_lines

3、相关命令

然后运行如下命令创建MySql和Redis容器：

docker-compose -f elk.yml up -d

up选项启动容器，-d选项以守护模式运行，镜像如果没有，docker会先拉取镜像，有则直接创建并启动容器，注意文件运行前不能有其同名容器，还有须注意防火墙设置

如果要批量停止容器并清除容器，可以使用down命令
docker-compose -f elk.yml down
如果要重新构建容器，可以使用--build选项
docker-compose -f elk.yml up --build -d
启动好后，查看Docker容器状态：
docker ps -a | grep -E "elasticsearch|kibana|logstash"

4、踩过的坑

过程中kibana一直启动不起来，访问http://192.168.197.91:5601，页面出现Kibana server is not ready yet，使用命令查看日志docker logs ID,出现下面结果
"message":"[index_not_found_exception] no such index [.kibana], with {resource.type="index_or_alias" & resource.id=".kibana" & index_uuid="na" & index=".kibana" }","name":"Error","stack":"[index_not_found_exception] no such index [.kibana]

解决方法：

#停止kibana
docker stop kibana
curl -XDELETE http://localhost:9200/.kibana*
#启动kibana
docker start kibana