背景
前段时间因为项目原因，需要基于Docker搭建Tomcat、Redis、Elasticsearch、Kibana、es-head、zookeeper、kafka环境，在搭建过程中也是遇到了一些问题，在此，简单总结一下，以供大家参考~ 文章有不足之处，请大家指出~
本篇将依次对以下环境搭建进行说明：
- Tomcat
- Redis
- Elasticsearch
- Kibana
- es-head
- zookeeper
- kafka
Tomcat(以tomcat:8.5.43为例)
拉取tomcat镜像
docker pull tomcat:8.5.43
Tomcat容器启动前，为便于对容器内的logs、webapps、conf进行管理，将需要管理的容器在运行的时候暴露出来，即挂载到宿主机上对应的文件，在此之前，在宿主机上创建挂载目录。
- 创建目录，用于挂载相关配置文件（/home目录下）
cd /home
mkdir tomcat
cd tomcat
mkdir logs webapps conf
- 授权目录
chmod 777 log webapps conf
注：如果未授权，在容器启动时，可能会报以下错误：
not permited to read file.........
- 启动容器
docker run -d --name tomcat --restart=always --privileged=true -p 8080:8080 -v /home/tomcat/webapps:/usr/local/tomcat/webapps -v /home/tomcat/logs:/usr/local/tomcat/logs -v /home/tomcat/conf:/usr/local/tomcat/conf tomcat:8.5.43
- 命令解析
- -d 将容器于后台运行
- --name 为容器命名
- --restart=always 表示容器开机即启动
- --privileged=true 使用该参数，container内的root拥有真正的root权限
- -p 端口映射，将容器内部的端口映射至宿主机中的指定端口
- -P 端口映射 ，将容器内部端口映射至宿主机中的随机端口
- -v volume的简写，表示容器卷，此处可表示将容器内的文件挂载至宿主机中的文件
- 容器相关操作
1.查看容器状态
docker ps -a # -a表示查看所有容器状态
2.查看容器日记
docker logs 容器名
3.进入容器内部
docker exec -it 容器名 /bin/bash
4.启动、重启、停止、删除容器
docker start 容器名称
docker restart 容器名称
docker stop 容器名称
docker rm 容器名称
5.访问tomcat主页
image.png
Redis（以redis:3.2.11为例）
拉取镜像
docker pull redis:3.2.11
- 创建挂载目录
cd /home
mkdir redis && cd redis
mkdir conf data
注意: 因为redis默认配置你会发现只能够本地连接，不能进行远程访问，使用redis desktop manager 连接都会报错，因此需要手动挂载配置文件
在conf下，
vim redis.conf
redis.conf模板地址：http://download.redis.io/redis-stable/redis.conf
- 修改配置文件
#//允许远程连接
#bind 127.0.0.1
protected-mode no
# //持久化
appendonly yes
# //密码
requirepass password
- 授权
chmod 777 ./conf/redis.conf #当前目录为redis下
chmod 777 data
- 启动容器
docker run -d --name redis --restart=always --privileged=true -p 6379:6379 -v /home/redis/redis.conf:/etc/redis/redis.conf -v /home/redis/data:/data redis:3.2.11 redis-server --appendonly yes --requirepass "han"
如果报错 WARNING: IPv4 forwarding is disabled. Networking will not work.
解决方法:
需要做如下配置
vi /usr/lib/sysctl.d/00-system.conf
添加如下代码：
net.ipv4.ip_forward=1
重启network服务
systemctl restart network
- 命令解析
1.appendonly yes 表示持久化
2.requirepass "han" 设置连接密码为"han" - 相关操作
docker exec -it redis redis-cli #进入redis容器内部客户端
auth password #password为容器启动时设置的密码
set key value
get key
- 测试连接
在Redis Desktop Manager，输入服务器地址以及redis密码，点击连接
image.png
成功连接：
image.png
elasticsearch集群（已elasticsearch:7.6.2）
在三台服务器上搭建elasticsearch集群
服务器地址(示例):
1、101.200.211.110
2、101.200.211.111
3、101.200.211.112
节点1: es-node1
- 拉取镜像
docker pull elasticsearch:7.6.2
- 调高JVM线程数限制数量
在centos窗口中，修改配置sysctl.conf
命令:
vi /etc/sysctl.conf
加入一下内容：
vm.max_map_count=262144
启动配置:
sysctl -p
注：这一步是为了防止启动容器时，报出如下错误：
bootstrap checks failed max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]
- 新建挂载目录
cd /home
mkdir elastic && cd elastic
mkdir conf logs plugins data
- 配置elasticsearch.yml文件
在/home/elastic/config下，创建并配置elasticsearch.yml文件
cluster.name: es-cluster
node.name: es-node1
network.bind_host: 0.0.0.0
network.publish_host: 101.200.211.110
http.port: 9200
transport.tcp.port: 9300
http.cors.enabled: true #允许跨域访问
http.cors.allow-origin: "*" #允许来自任何源的访问
http.cors.allow-headers: Authorization,content-type
node.master: true #主节点是否存储数据
node.data: true #从节点是否存储数据
discovery.zen.ping.unicast.hosts: ["101.200.211.110:9300","101.200.211.111:9300","101.200.211.112:9300"]
discovery.zen.minimum_master_nodes: 2 #最少节点个数
cluster.initial_master_nodes: es-node1,es-node2,es-node3 #初始化主节点，节点加载时，会存在主节点竞争
#加密，在容器启动前，先注释，不然会报错，后续再去掉注释
#xpack.security.enabled: true
#xpack.security.transport.ssl.enabled: true
#xpack.security.transport.ssl.verification_mode: certificate
#xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
#xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
- 文件授权
chmod 777 ./conf/elasticsearch.yml logs data plugins # 当前路径为/home/elatic
- 启动容器
docker run -e ES_JAVA_OPTS="-Xms256m -Xmx256m" -d --name es-1 --restart=always --privileged=true -p 9200:9200 -p 9300:9300 -v /home/elastic/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml -v /home/elastic/data:/usr/share/elasticsearch/data -v /home/elastic/logs:/usr/share/elasticsearch/logs -v /home/elastic/plugins://usr/share/elasticsearch/plugins elasticsearch:7.6.2
- 命令解析
-e ES_JAVA_OPTS="-Xms256m -Xmx256m" 表示运行时指定jvm内存 - 节点2：es-node2,节点3：es-node3操作同节点1，只需改动对应的节点名和容器名即可
- 查看容器状态
#查看es的日志极为重要，可以通过日志查看容器是否正常启动
docker logs es-1
# 请求节点信息
curl 101.200.211.110:9200
image.png
- 配置elasticsearch访问密码
1、进入容器
docker exec -it es-1 /bin/bash
2、执行命令：./bin/elasticsearch-certutil ca 系统会提示生成文件名及证书密码，回车两次，默认系统生成的文件和密码执行，生成elastic-certificates.p12文件
./bin/elasticsearch-certutil ca
3、执行命令：./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12 系统会提示生成文件名及证书密码，回车三次，默认系统生成的文件和密码执行，生成elastic-stack-ca.p12文件
./bin/elasticsearch-certutil cert --ca elastic-stack-ca.p12
4、生成的elastic-certificates.p12 cert --ca elastic-stack-ca.p12文件默认在/usr/share/elasticsearch目录下，执行命令将它们移动到conf目录下
mv elastic-*.p12 ./config/
#授权
cd config
chmod 777 elastic-*.p12
5、退出容器，并修改elasticsearch.yml文件
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
注：节点2，3同节点1操作一致
6、重启容器
dokcer restart es-1
dokcer restart es-2
docker restart es-3
7、选择其中一个容器，进行密码设置，因为是集群原因，一台设置了，其他两台也会生效
docker exec -it es-1 /bin/bash
./bin/elasticsearch-setup-passwords interactive #会对elastic、apm_system、kibana、logstash_system、beats_system、remote_monitoring_user进行密码设置
8、设置成功后，重启容器，打开浏览器，输入地址，如出现下图，则表示设置密码成功
image.png
9、查看集群状态:http://101.200.211.110:9200/_cat/nodes?pretty
kibana(以kibana:7.6.2为例，对应es版本)
- 拉取镜像
docker pull kibana:7.6.2
- 运行容器
docker run -d --name kibana --restart=always --privileged=true -p 5601:5601 kibana:7.6.2
注：因为kibana只是一个操作es的工具，故可不配置挂载文件
- 修改kibana.yml
server.name: kibana
server.host: "0"
elasticsearch.hosts: [ "http://101.200.211.234:9200" ] #对应es服务器地址
xpack.monitoring.ui.container.elasticsearch.enabled: true
#es配置密码时对应的用户名和密码
elasticsearch.username: "elastic"
elasticsearch.password: "111111"
-
查看kibana，会提示输入用户名和密码
image.png
elasticsearch-head
- 拉取镜像
docker pull mobz/elasticsearch-head:5
- 启动容器
docker run -d --name es-head --restart=always --privileged=true -p 9100:9100 mobz/elasticsearch-head:5
- 查看es-head
注：因为es进行了加密，应在浏览器的地址中加入es的用户名和密码
地址：http://101.200.211.110:9100/?auth_user=elastic&auth_password=111111 -
如出现该页面，说明es-head搭建成功
image.png
zookeeper集群（以zookeeper:3.4.12为例）
-拉取镜像
docker pull zookeeper:3.4.12
在三台服务器上搭建zookeepeer集群
服务器地址(示例):
1、101.200.211.110 ->节点1
2、101.200.211.111 -> 节点2
3、101.200.211.112 -> 节点3
节点1
docker run -tid --name=zk-1 --restart=always --privileged=true -p 2888:2888 -p 3888:3888 -p 2181:2181 -e ZOO_MY_ID=1 -e ZOO_SERVERS=server.1="0.0.0.0:2888:3888 server.2=101.200.211.111:2888:3888 server.3=101.200.211.112:2888:3888" zookeeper:3.4.12
节点2
docker run -tid --name=zk-2 --restart=always --privileged=true -p 2888:2888 -p 3888:3888 -p 2181:2181 -e ZOO_MY_ID=2 -e ZOO_SERVERS=server.1="101.200.211.110:2888:3888 server.2=0.0.0.0.:2888:3888 server.3=101.200.211.112:2888:3888" zookeeper:3.4.12
节点3
docker run -tid --name=zk-3 --restart=always --privileged=true -p 2888:2888 -p 3888:3888 -p 2181:2181 -e ZOO_MY_ID=3 -e ZOO_SERVERS=server.1="101.200.211.110:2888:3888 server.2=101.200.211.111.:2888:3888 server.3=0.0.0.0:2888:3888" zookeeper:3.4.12
- 查看集群状态
docker exec -it zk-1 bash ./bin/zkServer.sh status
kafka集群（以kafka:2.11-1.1.1为例）
- 拉取镜像
docker pull wurstmeister/kafka:2.11-1.1.1
在三台服务器上搭建kafka集群
服务器地址(示例):
1、101.200.211.110 ->节点1
2、101.200.211.111 -> 节点2
3、101.200.211.112 -> 节点3
Kafka节点1
docker run -itd --name=kafka --restart=always -p 9092:9092 --privileged=true -v /etc/hosts:/etc/hosts -e KAFKA_ADVERTISED_HOST_NAME=101.200.211.110 -e HOST_IP=101.200.211.110 -e KAFKA_ADVERTISED_PORT=9092 -e KAFKA_ZOOKEEPER_CONNECT=1101.200.211.110:2181,101.200.211.111:2181,101.200.211.112:2181 -e KAFKA_BROKER_ID=0 -e KAFKA_HEAP_OPTS="-Xmx8196M -Xms8196M" wurstmeister/kafka:2.11-1.1.1
Kafka 节点2
docker run -itd --name=kafka --restart=always -p 9092:9092 --privileged=true -v /etc/hosts:/etc/hosts -e KAFKA_ADVERTISED_HOST_NAME=101.200.211.110 -e HOST_IP=101.200.211.110 -e KAFKA_ADVERTISED_PORT=9092 -e KAFKA_ZOOKEEPER_CONNECT=1101.200.211.110:2181,101.200.211.111:2181,101.200.211.112:2181 -e KAFKA_BROKER_ID=0 -e KAFKA_HEAP_OPTS="-Xmx8196M -Xms8196M" wurstmeister/kafka:2.11-1.1.1
Kafka 节点3
docker run -itd --name=kafka --restart=always -p 9092:9092 --privileged=true -v /etc/hosts:/etc/hosts -e KAFKA_ADVERTISED_HOST_NAME=101.200.211.110 -e HOST_IP=101.200.211.110 -e KAFKA_ADVERTISED_PORT=9092 -e KAFKA_ZOOKEEPER_CONNECT=1101.200.211.110:2181,101.200.211.111:2181,101.200.211.112:2181 -e KAFKA_BROKER_ID=0 -e KAFKA_HEAP_OPTS="-Xmx8196M -Xms8196M" wurstmeister/kafka:2.11-1.1.1
- 创建topic
订阅
docker exec -it kafka bash /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server 101.200.211.110:9092,101.200.211.111:9092,101.200.211.112:9092 --topic test --from-beginning
发送消息
docker exec -it kafka bash /opt/kafka/bin/kafka-console-producer.sh --broker-list 101.200.211.110:9092,101.200.211.111:9092,101.200.211.112:9092 --topic test
网友评论