Docker安装Nginx

最近再往服务器上安装Nginx，利用Docker，在这里记录一下安装过程及遇到的一些坑

1.安装

拉取镜像,一般生产环境上用stable版本

$docker pull nginx:stable

创建目录

$mkdir -p /home/rcuser/docker/nginx/{conf,conf.d,html,logs}

先随便起三个后台服务，这里我起了三个注册中心

image.png

2.配置

主配置文件 nginx.conf

#定义Nginx运行的用户
user nginx;

#nginx进程数，建议设置为等于CPU总核心数。
worker_processes 1;

#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]
error_log  /var/log/nginx/error.log warn;

#进程pid文件
pid        /var/run/nginx.pid;

events {
    #单个进程最大连接数（最大连接数=连接数*进程数）
    #根据硬件调整，和前面工作进程配合起来用，尽量大，但是别把cpu跑到100%就行。每个进程允许的最多连接数，理论上每台nginx服务器的最大连接数为。
    worker_connections  1024;
}

#设定http服务器，利用它的反向代理功能提供负载均衡支持
http {
    #文件扩展名与文件类型映射表
    include       /etc/nginx/mime.types;

    #默认文件类型
    default_type  application/octet-stream;

    #日志格式设定
    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    #定义本虚拟主机的访问日志
    access_log  /var/log/nginx/access.log  main;

    #开启高效文件传输模式，sendfile指令指定nginx是否调用sendfile函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络I/O处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成off。
    #sendfile指令指定 nginx 是否调用sendfile 函数（zero copy 方式）来输出文件，对于普通应用，必须设为on。如果用来进行下载等应用磁盘IO重负载应用，可设置为off，以平衡磁盘与网络IO处理速度，降低系统uptime。
    sendfile        on;

    #此选项允许或禁止使用socke的TCP_CORK的选项，此选项仅在使用sendfile的时候使用
    #tcp_nopush     on;

    #keepalive超时时间。
    keepalive_timeout 60;

    #开启gzip压缩输出
    #gzip  on;

    #引用子配置文件,即server配置
    include /etc/nginx/conf.d/*.conf;
}

server_a.conf>>配置前端静态资源

server {
    listen       80;
    server_name  www.a.com;

    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }
}

server_b.conf>>配置后台服务,进行转发

#负载均衡配置
upstream pic{
    server 192.168.155.55:8761 weight=3;
    server 192.168.155.55:8762 weight=3;
    server 192.168.155.55:8763 weight=3;

    #nginx的upstream目前支持4种方式的分配
    #1、轮询（默认）
    #每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，能自动剔除。
    #2、weight
    #指定轮询几率，weight和访问比率成正比，用于后端服务器性能不均的情况。
    #例如：
    #upstream bakend {
    #    server 192.168.0.14 weight=10;
    #    server 192.168.0.15 weight=10;
    #}
    #2、ip_hash
    #每个请求按访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session的问题。
    #例如：
    #upstream bakend {
    #    ip_hash;
    #    server 192.168.0.14:88;
    #    server 192.168.0.15:80;
    #}
    #3、fair（第三方）
    #按后端服务器的响应时间来分配请求，响应时间短的优先分配。
    #upstream backend {
    #    server server1;
    #    server server2;
    #    fair;
    #}
    #4、url_hash（第三方）
    #按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较有效。
    #例：在upstream中加入hash语句，server语句中不能写入weight等其他的参数，hash_method是使用的hash算法
    #upstream backend {
    #    server squid1:3128;
    #    server squid2:3128;
    #    hash $request_uri;
    #    hash_method crc32;
    #}
}

#虚拟主机的配置
server {
    #监听端口
    listen       81;
    #域名可以有多个，用空格隔开
    server_name  www.b.com;

    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;

    #对 "/" 启用反向代理
    location / {
        proxy_pass  http://pic;
        proxy_redirect off;
        proxy_set_header X-Real-IP $remote_addr;

        #后端的Web服务器可以通过X-Forwarded-For获取用户真实IP
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        #以下是一些反向代理的配置，可选。
        proxy_set_header Host $host;

        #允许客户端请求的最大单文件字节数
        client_max_body_size 10m;

        #缓冲区代理缓冲用户端请求的最大字节数，
        #如果把它设置为比较大的数值，例如256k，那么，无论使用firefox还是IE浏览器，来提交任意小于256k的图片，都很正常。如果注释该指令，使用默认的client_body_buffer_size设置，也就是操作系统页面大小的两倍，8k或者16k，问题就出现了。
        #无论使用firefox4.0还是IE8.0，提交一个比较大，200k左右的图片，都返回500 Internal Server Error错误
        client_body_buffer_size 128k;

        #表示使nginx阻止HTTP应答代码为400或者更高的应答。
        proxy_intercept_errors on;

        #后端服务器连接的超时时间_发起握手等候响应超时时间
        #nginx跟后端服务器连接超时时间(代理连接超时)
        proxy_connect_timeout 90;

        #后端服务器数据回传时间(代理发送超时)
        #后端服务器数据回传时间_就是在规定时间之内后端服务器必须传完所有的数据
        proxy_send_timeout 90;

        #连接成功后，后端服务器响应时间(代理接收超时)
        #连接成功后_等候后端服务器响应时间_其实已经进入后端的排队之中等候处理（也可以说是后端服务器处理请求的时间）
        proxy_read_timeout 90;

        #设置代理服务器（nginx）保存用户头信息的缓冲区大小
        #设置从被代理服务器读取的第一部分应答的缓冲区大小，通常情况下这部分应答中包含一个小的应答头，默认情况下这个值的大小为指令proxy_buffers中指定的一个缓冲区的大小，不过可以将其设置为更小
        proxy_buffer_size 4k;

        #proxy_buffers缓冲区，网页平均在32k以下的设置
        #设置用于读取应答（来自被代理服务器）的缓冲区数目和大小，默认情况也为分页大小，根据操作系统的不同可能是4k或者8k
        proxy_buffers 4 32k;

        #高负荷下缓冲大小（proxy_buffers*2）
        proxy_busy_buffers_size 64k;

        #设置在写入proxy_temp_path时数据的大小，预防一个工作进程在传递文件时阻塞太长
        #设定缓存文件夹大小，大于这个值，将从upstream服务器传
        proxy_temp_file_write_size 64k;
    }

}

3.启动nginx镜像

• 利用 -p 映射80、81两个端口,80端口静态资源,81端口后台服务
• 第一个“-v”，挂载静态资源到/usr/share/nginx/html目录下
• 第二个“-v”，挂载的主配置文件"nginx.conf"
• 第三个“-v”，挂载子配置文件目录
• 第四个“-v”，挂载日志

$docker run --name nginx -d -p 80:80 -p 81:81 \
-v /home/rcuser/web/dist:/usr/share/nginx/html \
-v /home/rcuser/docker/nginx/conf/nginx.conf:/etc/nginx/nginx.conf  \
-v /home/rcuser/docker/nginx/conf.d:/etc/nginx/conf.d \
-v /home/rcuser/docker/nginx/logs:/var/log/nginx \
--restart=always \
nginx:stable

nginx镜像启动成功

image.png

可以看到80、81端口已经在监听

image.png

4.最终效果

nginx的80端口，访问静态资源

image.png

访问nginx的81端口，进行后台服务的负载均衡，可以看到第一次转发到了端口为8763的服务上

image.png

第二次访问81端口，转发到了端口为8762的服务上，说明nginx已经帮我们进行了负载均衡，以轮询的机制，第三次肯定就会转发到8761的端口上，因为配置的服务就是8761,8762,8763三个服务

image.png

安装过程中遇到的坑

• 天坑!!! Nginx的docker容器中，有一个默认配置文件 /etc/nginx/nginx.conf 。还有一个默认放配置文件的目录 /etc/nginx/conf.d。nginx 会加载目录conf.d 下的 *.conf 文件。如果这些 .conf 文件的内容和 /etc/nginx/nginx.conf 文件有冲突，那么nginx会默认用 conf.d 目录下的文件配置去覆盖 nginx.conf 文件里面的配置。nginx 容器的 conf.d 目录下有个 default.conf 配置文件。 default.conf里也是监听80端口。与宿主机上的配置文件有冲突，按照数据卷的配置，就是和容器内挂载的 /etc/nginx/nginx.conf 配置文件有冲突。因此 default.conf 文件的配置会覆盖掉你的网站的配置。(由于对nginx理解不深，定位问题的方向不对，所以绕了很多弯路，在这上面浪费了很多时间)
• nginx 批量载入配置 conf 时会按 ascii 排序载入，这就会以 server_a.conf server_b.conf server_c.conf 的顺序载入，如果没有声明 default_server 的话，那 server_a 会作为默认的 server 去处理 未绑定域名/ip 的请求。

第一种解决方法

进入正在运行的Nginx docker容器：
$docker exec -it nginx bash

删除 /etc/nginx/conf.d/default.conf 文件
$cd /etc/nginx/conf.d
$rm -rf default.conf

重启nginx容器
docker restart nginx

第二种解决方法，也是我使用的方法

直接把子配置文件目录挂载进去,或者把
include /etc/nginx/conf.d/*.conf;
这一行删掉,把所有配置写在主配置文件里