第四十二天 Nginx代理与负载均衡

代理

1.什么是代理？

代理 ---> 代为办理

2.Nginx 正向代理 反向代理

正向代理：       --->    比如NAT地址转换技术   科学上网
反向代理：       --->    

正向代理与反向代理的区别：
    区别在于形式上的服务的“对象”不一样
    正向代理代理的对象是 客户端，为客户端服务
    反向代理代理的对象是服务端，为服务端服务

3.Nginx代理支持那些协议、常用的是那些？

1.Nginx作为代理服务，可支持的代理协议非常的多，具体如下图

img

2.如果将Nginx作为反向代理服务，常常会用到如下几种代理协议，如下图所示

[图片上传失败...(image-a402ff-1569486932940)]

反向代理模式              Nginx反向代理模块
http、websocket、https    ngx_http_proxy_module
fastcgi                 ngx_http_fastcgi_module
uwsgi                   ngx_HTTP_UWSGI_module
grpc                    ngx_http_v2_module

4.nginx 反向代理语法

4.1.Nginx代理配置语法

Syntax: proxy_pass URL;
Default:    —
Context:    location, if in location, limit_except

http://localhost:8000/uri/
http://192.168.56.11:8000/uri/
http://unix:/tmp/backend.socket:/uri/

4.2.url跳转修改返回Location[不常用]参考URL

Syntax: proxy_redirect default;
proxy_redirect off;proxy_redirect redirect replacement;
Default:    proxy_redirect default;
Context:    http, server, location

4.3.添加发往后端服务器的请求头信息

Syntax: proxy_set_header field value;
Default:    proxy_set_header Host $proxy_host;
            proxy_set_header Connection close;
Context:    http, server, location

# 用户请求的时候HOST的值是www.bgx.com, 那么代理服务会像后端传递请求的还是www.bgx.com
proxy_set_header Host $http_host;
# 将$remote_addr的值放进变量X-Real-IP中，$remote_addr的值为客户端的ip
proxy_set_header X-Real-IP $remote_addr;
# 客户端通过代理服务访问后端服务, 后端服务通过该变量会记录真实客户端地址
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

4.4.代理到后端的TCP连接、响应、返回等超时时间

//nginx代理与后端服务器连接超时时间(代理连接超时)
Syntax: proxy_connect_timeout time;
Default: proxy_connect_timeout 60s;
Context: http, server, location

//nginx代理等待后端服务器的响应时间
Syntax: proxy_read_timeout time;
Default:    proxy_read_timeout 60s;
Context:    http, server, location

//后端服务器数据回传给nginx代理超时时间
Syntax: proxy_send_timeout time;
Default: proxy_send_timeout 60s;
Context: http, server, location

4.5.proxy_buffer代理缓冲区

//nignx会把后端返回的内容先放到缓冲区当中，然后再返回给客户端,边收边传, 不是全部接收完再传给客户端
Syntax: proxy_buffering on | off;
Default: proxy_buffering on;
Context: http, server, location

//设置nginx代理保存用户头信息的缓冲区大小
Syntax: proxy_buffer_size size;
Default: proxy_buffer_size 4k|8k;
Context: http, server, location

//proxy_buffers 缓冲区
Syntax: proxy_buffers number size;
Default: proxy_buffers 8 4k|8k;
Context: http, server, location

4.6.Proxy代理网站常用优化配置如下，将配置写入新文件，调用时使用include引用即可

[root@Nginx ~]# vim /etc/nginx/proxy_params
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_connect_timeout 30;
proxy_send_timeout 60;
proxy_read_timeout 60;

proxy_buffering on;
proxy_buffer_size 32k;
proxy_buffers 4 128k;

4.7.代理配置location时调用, 方便后续多个Location重复使用

location / {
    proxy_pass http://127.0.0.1:8080;
    include proxy_params;
}

5.nginx反向代理实例？

1.如果后端监听80端口，会不会出现问题
2.后端主机获取的客户端IP是否真实的
3.代理像后端请求时，走的是http1.0协议？

#代理配置
[root@lb01 conf.d]# cat proxy_web.oldxu.com.conf 
server {
    listen 80;
    server_name web.oldxu.com;

    location / {
        proxy_pass http://10.0.0.7:80;
        proxy_http_version 1.1;
        proxy_set_header Host $http_host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

后端web配置
[root@web01 conf.d]# cat web.oldxu.com.conf 
server {
    listen 80;
    server_name web.oldxu.com;

    location / {
        root /html;
        index index.html;
    }
}

6.Nginx反向代理参数

额外扩展知识:
    服务器默认有65535个端口，通常系统服务需要占用部分端口:1~10000
    配置一台主机作为nginx代理服务，最多支持5w的tcp连接，因为端口数受限
    配置一台后端的应用服务，最多能支持2w-3w左右的tcp连接，因为当一个请求过来
    nginx代理通过随机端口--请求-->nginx应用服务--通过-->随机端口--请求-->php动态程序--通过-->随机端口-->mysql

负载均衡

1.什么是负载均衡

负载均衡，英文名称为Load Balance，其含义就是指将负载（工作任务）进行平衡、分摊到多个操作单元上进行运行，例如FTP服务器、Web服务器、企业核心应用服务器和其它主要任务服务器等，从而协同完成工作任务。

负载均衡构建在原有网络结构之上，它提供了一种透明且廉价有效的方法扩展服务器和网络设备的带宽、加强网络数据处理能力、增加吞吐量、提高网络的可用性和灵活性。

2.为什么要使用负载均衡

当web服务器直接面向用户，往往需要承载大量的并发请求，单台服务器难以负荷，使用多台web服务器组成集群，前端使用Nginx负载均衡，将请求分散的打到我们的后端服务器集群中，实现负载均衡。
优点： 提升系统的吞吐率、请求性能、高容灾。

img

往往我们接触的最多的是SLB(Server Load Balance)负载均衡，实现最多的也是SLB、那么SLB它的调度节点和服务节点通常是在一个地域里面。那么它在这个小的逻辑地域里面决定了他对部分服务的实时性、响应性是非常好的。
所以说当海量用户请求过来以后，它同样是请求调度节点，调度节点将用户的请求转发给后端对应的服务节点，服务节点处理完请求后在转发给调度节点，调度节点最后响应给用户节点。这样也能实现一个均衡的作用，那么Nginx则是一个典型的SLB

img

3.负载均衡使用的场景

1.负载均衡能实现的应用场景一: 四层负载均衡
所谓四层负载均衡指的是OSI七层模型中的传输层，那么传输层Nginx已经能支持TCP/IP的控制，所以只需要对客户端的请求进行TCP/IP协议的包转发就可以实现负载均衡，那么它的好处是性能非常快、只需要底层进行应用处理，而不需要进行一些复杂的逻辑。

img

2.负载均衡能实现的应用场景二: 七层负载均衡
七层负载均衡它是在应用层，那么它可以完成很多应用方面的协议请求，比如我们说的http应用的负载均衡，它可以实现http信息的改写、头信息的改写、安全应用规则控制、URL匹配规则控制、以及转发、rewrite等等的规则，所以在应用层的服务里面，我们可以做的内容就更多，那么Nginx则是一个典型的七层负载均衡SLB

img

4.四层负载均衡与七层负载均衡区别

四层负载均衡数据包在底层就进行了分发，而七层负载均衡数据包则是在最顶层进行分发、由此可以看出，七层负载均衡效率没有四负载均衡高。
但七层负载均衡更贴近于服务，如:http协议就是七层协议，我们可以用Nginx可以作会话保持，URL路径规则匹配、head头改写等等，这些是四层负载均衡无法实现的

5.七层负载均衡配置实例

[root@lb01 conf.d]# cat proxy_web.oldxu.com.conf 
upstream web {
    server 172.16.1.7:80;
    server 172.16.1.8:80;
}

server {
    listen 80;
    server_name web.oldxu.com;

    location / {
        proxy_pass http://web;
        include proxy_params;
    }
}


[root@lb01 conf.d]# cat /etc/nginx/proxy_params 
proxy_http_version 1.1;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

proxy_connect_timeout 30;
proxy_send_timeout 60;
proxy_read_timeout 60;

proxy_buffering on;
proxy_buffer_size 32k;
proxy_buffers 4 128k;


#后端web配置 (为了区分,将两台web的站点配置的不一样,以便测试效果)
[root@web01 conf.d]# cat web.oldxu.com.conf 
server {
    listen 80;
    server_name web.oldxu.com;

    location / {
        root /html;
        index index.html;
    }
}

6.七层负载均衡整合架构实例

blog

zh （后期补全）

7.七层负载均衡调度算法、后端状态

调度算法	概述
轮询	按时间顺序逐一分配到不同的后端服务器(默认)
weight	加权轮询,weight值越大,分配到的访问几率越高
ip_hash	每个请求按访问IP的hash结果分配,这样来自同一IP的固定访问一个后端服务器
url_hash	按照访问URL的hash结果来分配请求,是每个URL定向到同一个后端服务器
least_conn	最少链接数,那个机器链接数少就分发

1.负载均衡如何让分配流量
    1.能者多劳
    2.平均分配
    
轮询:             要求机器的配置一样
加权轮询：       机器硬件不一致时使用
ip_hash         能够保持会话，但会造成后端负载不均衡  

状态	概述
down	当前的server暂时不参与负载均衡
backup	预留的备份服务器
max_fails	允许请求失败的次数
fail_timeout	经过max_fails失败后, 服务暂停时间
max_conns	限制最大的接收连接数

a   max_fails=2 fail_timeout=10s    运维
b   max_fails=2 fail_timeout=10s    运维
c   backup;     开发  运维
d   down;       离职

8.七层负载均衡实现Redis会话共享

1.粘性session
粘性session是指Nginx每次都将同一用户的所有请求转发至同一台服务器上，也就是相对应的 ip_hash

2.session复制
即每次发生变化时，创建或者修改，就广播给集群中的服务器，是所有的服务器上的session相同。

3.session持久化（慢）
将session存储至数据库中，像操作服务器一样操作session。

4.session共享
缓存session至内存数据库中，使用redis（将redis内存中的数据写到磁盘中）memcached（内存数据库）

配置思路

1.在web服务器上按装 phpmyadmin

先分别进行测试---测试能否登上

#1.安装phpmyadmin（web01和web02上都装）
    [root@web01 ~]# cd /code
    [root@web01 code]# wget https://files.phpmyadmin.net/phpMyAdmin/4.8.4/phpMyAdmin-4.8.4-all-languages.zip
    [root@web01 code]# unzip phpMyAdmin-4.8.4-all-languages.zip

    #2.配置phpmyadmin连接远程的数据库
    [root@web01 code]# cd phpMyAdmin-4.8.4-all-languages/
    [root@web01 phpMyAdmin-4.8.4-all-languages]# cp config.sample.inc.php config.inc.php
    [root@web01 phpMyAdmin-4.8.4-all-languages]# vim config.inc.php
    /* Server parameters */
    $cfg['Servers'][$i]['host'] = '172.16.1.51';

2.接入负载均衡 ---代理制后端的服务器

[root@lb01 conf.d]# cat proxy_php.oldxu.com.conf 
upstream  php {
    server 172.16.1.7;
    server 172.16.1.8;
}

server {
    listen 80;
    server_name php.oldxu.com;
    location / {
        proxy_pass http://php;
        proxy_set_header Host $http_host;
    }
}

3.发现无法正常登录

1.解决方法:  
        在负载均衡上配置  ip_hash 会话保持   (  造成用户仅访问后端的某一台主机  )

[root@lb01 conf.d]# cat proxy_php.oldxu.com.conf 
upstream  php {
    ip_hash;
    server 172.16.1.7;
    server 172.16.1.8;
}

server {
    listen 80;
    server_name php.oldxu.com;
    location / {
        proxy_pass http://php;
        proxy_set_header Host $http_host;
    }
}

4。即希望能够实现流量的均摊，又希望会话的问题得以保持，所以引入了redis

1.安装redis
    [root@db01 ~]# yum install redis -y
2.配置redis
    [root@db01 ~]# sed -i '/^bind/c bind 127.0.0.1 172.16.1.51' /etc/redis.conf
3.启动redis
    [root@db01 ~]# systemctl enable redis
    [root@db01 ~]# systemctl start redis
    
4.改造php，session写入本地修改写入redis中  （此配置需要在所有的web进行）
修改前提：已经安装过redis的模块--->php71w-pecl-redis
    1）.修改php存储session至redis中
    [root@db01 ~]# vim /etc/php.ini
    session.save_handler = redis
    session.save_path = "tcp://172.16.1.51:6379?weight=1"


    2）.修改php-fpm 注释默认存储session的位置
    [root@web01 ~]# vim /etc/php-fpm.d/www.conf
    ;php_value[session.save_handler] = files
    ;php_value[session.save_path]    = /var/lib/php/session

    3）.将修改后的配置文件,推送至172.16.1.8
    [root@web01 ~]# scp /etc/php.ini root@172.16.1.8:/etc/  
    [root@web01 ~]# scp /etc/php-fpm.d/www.conf  root@172.16.1.8:/etc/php-fpm.d/www.conf
    
    4）.重启172.16.1.7 172.16.1.8两台服务器的php-fpm
    [root@web02 conf.d]# systemctl restart php-fpm
    

5.测试效果
    1.浏览器登录测试 
    2.查看redis的sessionID和    浏览器cookie中提交的sessionID是否一致
    [root@db01 ~]# redis-cli 
    127.0.0.1:6379> keys *
    1) "PHPREDIS_SESSION:38ecc8696c70a7252d943e7cb9b20f70"

企业实例

企业案例:使用nginx负载均衡时，如何将后端请求超时的服务器流量平滑的切换到另一台上。如果后台服务连接超时，Nginx是本身是有机制的，如果出现一个节点down掉的时候，Nginx会更据你具体负载均衡的设置，将请求转移到其他的节点上，但是，如果后台服务连接没有down掉，但是返回错误异常码了如:504、502、500，应该如何处理。
可以在负载均衡添加如下配置proxy_next_upstream http_500 | http_502 | http_503 | http_504 |http_404;意思是，当其中一台返回错误码404,500...等错误时，可以分配到下一台服务器程序继续处理，提高平台访问成功率。

    nginx本身是有剔除机制,  指的是 后端的nginx没有正常工作
    proxy_next_upstream nginx是正常工作,只不过后端的php或者其他程序出现问题  502

server {
    listen 80;
    server_name xuliangwei.com;

    location / {
        proxy_pass http://node;
        proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
    }
}