Docker多容器部署实践(nginx+node.js)

之前介绍的nginx相关文章都是在主机上直接安装nginx来实现相关功能,现在将nginx与docker相结合,来实现nginx的容器化.

1. 基础

本文使用的是node.js搭建的最简单的web app,其他的类似pythond的也类似。

基本的运行环境和软件版本以及项目结构介绍如下.

1.1 基础环境

OS: CentOS7.2
Docker 版本: 1.12.2
Docker Compose 版本: 1.9.0-rc4

1.2 基础docker镜像

Nginx: latest.
Node.js: latest.  (7.1)

1.3 项目目录结构

home/name/a/dd # 这个可以随意 
  - compose # 这个名字很重要,和后面的设置有关系,可以改,但是要统一.
    - docker-compose.yml 
  - nginx
    - nginx.conf (还有其他的,总之把nginx默认的文件全部复制到这里来)
  - node
    - app.js

2. 具体文件定义

整个项目中使用的文件不多,只有compose,nginx和node文件夹下的下面三个相关文件,下面列出具体的每个文件的配置。

2.1 app.js

var http = require("http");

http.createServer(function (req,res){
    time = (new Date).getTime().toString()+"\n";
    res.writeHeader(200,{"Content-Type":"text/plain"}); 
    res.end(time); # 返回时间
}).listen(3000); # 监听3000端口

console.log("Starting server running at http://127.0.0.1:3000/");

这是一个最简单的web app,监听3000端口,每次请求返回日期时间.

2.2 nginx.conf

user nginx;
worker_processes 1;

events {
  worker_connections 512;
}

http {
  log_format main  '$remote_addr - $remote_user[$time_local] "$http_user_agent" "$http_x_forwarded_for" "$upstream_addr"'; #自定义log格式
  access_log /etc/nginx/access.log main; # 输出log
  upstream dd_server { # 设置server集群,负载均衡关键指令
    server compose_web_1:3000; # 设置具体server,由于我们运行5个web app容器,所以定义5个,这个具体可以按需来进行增减. 
    server compose_web_2:3000;
    server compose_web_3:3000;
    server compose_web_4:3000;
    server compose_web_5:3000;
  }
  
  server {
    listen 5000; # 设置监听端口
    location / {
      proxy_pass http://dd_server/; # 转向dd_server
    }
  }
}

重点是upstream里面的每个server后面的地址参数,如compose_web_1:3000,说明如下:

1. compose_web_1其中compose是docker-compose.yml文件所在的父文件夹,web是docker-compose.yml定义的web app的service的名称,序号1表示第一个,后续使用scale命令时按顺序2,3,4这样取别名.
2. 3000是web app监听的端口.

2.3 docker-compose.yml

version: '2' # compose file的版本,推荐2

services:
  web: # 定义service
    image: node # 设置镜像来源
    volumes: # 设置挂载路径
      - $HOME/a/dd/node:/usr/src/app # 这个路径请参考前面的目录结构
    working_dir: /usr/src/app
    command: node app.js # 设置默认命令
  proxy:
    image: nginx
    volumes:
      - $HOME/a/dd/nginx:/etc/nginx
    ports:
     - "4000:5000" # 设置端口连接
    links:
      - web # 建立连接,web容器就无需暴露端口出去

可以看到这里定义的web app这个service的名字叫web,并且这个docker-compose.yml是在compose目录下的,它会给service生成一个默认的别名compose_web_1,这就是我们在nginx.conf里upstream指令下的那个名字.

3. 启动

准备上述文件内容并符合上述项目文件结构之后,就可以启动了,有三个步骤:

1. 切换到yml文件所在目录.docker-compose指令的执行需要参考yml文件,也可以不切换，目录而在指令中加参数,但是麻烦的
2. 创建默认网络.web容器需要一个network,默认情况下docker compose会生成一个默认的网络名为compose_default网络,命名规则是:父文件夹名_default,具体可看Networking in Compose.
3. 创建多个web app容器.
4. 创建nginx容器并启动所有容器.

具体如下:

cd ~/a/dd/compose # 1. 切换目录
docker network create compose_default # 2. 创建默认网络
docker-compose scale web=5 # 3. 创建5个web app容器
docker-compose up # 4. 会创建还没有创建的网络和容器,然后启动

会有类似的输出:

Attaching to compose_web_4, compose_web_3, compose_web_5, compose_web_1, compose_web_2, compose_proxy_1
web_3    | Starting server running at http://127.0.0.1:3000/
web_4    | Starting server running at http://127.0.0.1:3000/
web_5    | Starting server running at http://127.0.0.1:3000/
web_2    | Starting server running at http://127.0.0.1:3000/
web_1    | Starting server running at http://127.0.0.1:3000/

查看容器的ip:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' container_name_or_id

172.19.0.7
172.19.0.6
172.19.0.5
172.19.0.4
172.19.0.3
172.19.0.2

这些就是正在运行中的容器的ip.

4. 测试

方式有很多种,可以直接使用curl命令来测:

curl -I 127.0.0.1:4000　# 这个端口号是之前在yml文件中定义在nginx下面的ports里面的

多运行几次,然后打开nginx目录下的access.log文件,可以看到如下信息:

172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.2:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.4:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.5:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.3:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.6:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.2:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.4:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.5:3000"
172.19.0.1 - -[11/Nov/2016:17:12:40 +0000] "curl/7.29.0" "-" "172.19.0.3:3000"
172.19.0.1 - -[11/Nov/2016:17:12:41 +0000] "curl/7.29.0" "-" "172.19.0.6:3000"
172.19.0.1 - -[11/Nov/2016:17:12:41 +0000] "curl/7.29.0" "-" "172.19.0.2:3000"

看最后一列的172.19.0.2:3000这样的地址,是我们具体容器的ip,每次请求nginx都会根据算法来调度,所以这些地址会变化,说明部署成功.

5.总结

1. 其实在独立学习各部分的时候都是比较简单的,但是结合在一起时会遇到很多问题,发现很多盲点,于是就整理下写出来.
2. docker多容器还可以不用scale命令而在yml文件中直接定义多个service,不过这个比较简单就不说了.

Reference:

• node image
• Nginx image
• Compose file reference
• Networking in Compose
• Playing with Docker and nginx : from multi-domain to multi-container