反向代理是nginx的主要功能之一，平时我们在使用Nginx的时候一般就是用其性能高效的反向代理功能。
为了线上环境中的降级和服务替换，nginx的upstream模块提供了通用的参数。
通用的参数有（不论是round-robin，还是hash）
- backup：指定当前server为备份服务，当且仅当所有的非备份服务器不可用的时候，请求才会转发到该server。
- down：标识某台服务已经下线，不在服务。
round-robin算法
round-robin 轮询是nginx反向代理的默认使用的算法。
指定上游服务地址的upstream模块。
指令。
upstream backend1{
server 192.168.0.2:80 weight=1 max_fails=3 fail_timeout=30s;
}
- weight： 服务器的访问权重
- max_conns： server的最大并发连接数字，仅作用于单worker进程。默认是0，表示没有限制。
- max_fails： 在fail_timeout 时间段内，最大的失败次数，当达到最大的失败次数时，会在fail_timeout 秒内这台server 不会再次选中。
- fail_timeout：单位为秒，默认是10s。具有两个功能（配合max_fails 使用）如上所述。
对上游服务使用keepalive长连接
通过复用tcp连接，降低nginx与上游服务器的建立、关闭连接的消耗，提高吞吐量的同时降低时延。
对上游连接设定的http头部(因为http1.0 不支持keepalive)
proxy_http_version 1.1;
proxy_set_header Connection "";
- keepalive connections：向一组upstream最多保持多少个空闲的tcp连接用来keepalive请求。Nginx 和后端的长连接不够用时 Nginx 会新建连接来处理新的请求（是 Nginx 每个 worker 连接后端的最大长连接数，而不是整个 Nginx 的）
- keepalive_requests number：1.15.3新增指令。一条keepalive上最多跑多少条请求。
- keepalive_timeout：1.15.3新增指令。一条tcp连接，超过多长时间没有请求的话，关闭tcp。
- resolver：当使用域名访问时，指定我们自己的dns服务器。
- resolver_timeout：dns超时时间。
测试
如下是我nginx的配置。
upstream backend {
keepalive 32;
server 192.168.199.214:8081 weight=1 max_fails=2 fail_timeout=5s;
server 192.168.199.214:8082 weight=1 max_fails=2 fail_timeout=5s;
}
server {
listen 80;
server_name app.prometheus.wjx;
location / {
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_pass http://backend;
}
}
一台后端挂了后，nginx如何处理
当我将8081 的这台机器挂掉后。
从tcp层面会有RST，也就是http无法再用这条tcp连接。所以当然http请求是无法发送到8081这台机器，nginx会默认将请求发往下一台server 8082。tcp建立通了，才会有http请求过去，也就是说nginx是有高效的错误处理能力的。当配置的5s后（不一定就5s），nginx会再试8081 端的server，5s后再有请求，会重新尝试与8081建立tcp连接。
抓包得出
keepalive 对nginx和后端的影响
- 当keepalive配置只有1,压力测试
ab -n 10 -c 2 http://localhost/
wireshark抓包
从上图可以看出，其实只有一个keepalive连接，其他的还是使用了短连接。
-
当keepalive为2048时，压力测试
只建立了两个tcp连接，分别是两个后端server的。也就是每个server一条连接，传输了所有的数据。
wireshark抓包
-
不开启keepalive。压力测试
开启keepalive的时候，nginx的timewait达到了 14000+个。而server端的timewait几乎为0。（因为开启时，server会认为这是一个长连接，不会主动关闭，而不开启的话，server会在一次请求结束后主动关闭长连接）
不开启keepalive的时候，nginx的timewait为1000+个，而server端为900+个。
而看看抓包情况。。。满屏的tcp syn握手包。
wireshark握手包
least_conn 算法
这个算法是由upstream_least_conn 模块提供的。功能是从所有的上游服务中找出并发连接数最少的一个，将请求转发到它。
一般很少用到，当所有的server的连接都相同的时候，该算法会退化成round_robin算法。
upstream模块提供的变量
| 变量 | 作用 |
|---|---|
| upstream_addr | 上游服务的ip地址+port |
| upstream_connect_time | 与上游服务建立连接消耗的时间 |
| upstream_header_time | 接收上游服务发回响应的头部消耗的时间 |
| upstream_response_time | 接收上游服务响应消耗的时间 |
| upstream_bytes_received | 从上游服务接收到的响应长度 |
| upstream_response_length | 从上游服务返回的响应包体的长度 |
| upstream_status | 上游服务的返回的状态码未连接上是502 |
proxy 模块
proxy_pass 是反向代理中最重要的一个模块。
其大体流程如图所示。
proxy_pass.png
proxy_request_buffering 和 proxy_buffering 为 off 时才会边读包体边发送
根据指令生成发往上游的请求行
- proxy_method method ： 将请求方法
- proxy_http_version 1.0|1.1 ： 更改http的version（keepalive就需要1.1）
- proxy_set_header ：添加头部
- proxy_pass_request_headers on|off ：是否将用户请求的包头发给上游（默认当然是发的）。
- proxy_pass_request_body on|off：是否将用户请求包体发给上游（默认当然是发的）。
- proxy_set_body value：添加包体
接收客户端请求的包体
- proxy_request_buffering on|off 上面已经说了off的话会边收包体边发。
- on：1.客户端网速慢。2.上游服务并发处理能力低。3.适应高吞吐场景。
- off：1.更及时的响应。2.降低nginx读写磁盘的消耗。 3.一旦开始发送 proxy_next_upstream 功能失败。
- client_body_buffer_size size：接收请求的header时，为接收到包体分配内存。默认8k或16k。
- 若接收头部时已经接收完全部包体，则不分配。
- 若剩余待接收包体长度小于client_body_buffer_size, 则分配所需大小
- client_max_body_size size ：允许请求包体最大长度的限制，默认是1M
- client_body_temp_path path：临时文件的路径（放请求body的）
- client_body_in_file_only on | clean | off：默认是off 的。一般是请求body写到文件中，on的话是永久保存的，一般用于定位问题。
- client_body_timeout time：读取包体时超时，则返回408错误。
nginx与上游服务建立连接
- proxy_connect_timeout time ：与上游服务建立tcp连接的超时时间。超时后会生成502。（默认60s）
- proxy_socket_keepalive on|off：当设置为on时，会使用操作系统的tcp去操作tcp keepalive。
- keepalive：有几个keepalive。
- keepalive_requests：连接最多执行多少个http请求。
- proxy_ignore_client_abort on|off：当client关闭连接，是否关闭与upstream关闭（默认是off的，on的话对上游压力很大）
- proxy_send_timeout：向upstream发送请求的超时时间。
nginx接收upstream的响应
- proxy_buffer_size size：
- proxy_buffering on|off：off为边发边收。
- proxy_buffers number size：当不是边发边收的情况下就需要将包体写到磁盘中，但是磁盘还是比较慢的。如果这里指定了buffer，小文件（buffer能存放下）就不会写文件了。
- proxy_max_temp_file_size size：限制upstream回返的包体写入磁盘的最大值。默认是1G。
- proxy_temp_file_write_size size：限制每一次向临时磁盘文件写入的字节数。
- proxy_temp_path path [level1 [level2 [level3]]]：临时文件写入的文件目录。
- proxy_busy_buffers_size size：及时转发包体，先向客户端转发接收到的size字节。
- proxy_read_timeout time：读取超时时间。
- proxy_limit_rate rate ：限速读取上游的响应。
上游出现失败时的容错方案
当upstream的上游服务返回失败时的处理方法。
- proxy_next_upstream
当出现错误，超时，错误头部，指定的返回码。 - proxy_next_upstream_timeout 超时时间
- proxy_next_upstream-tries 重试次数
location / {
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_connect_timeout 1s;
proxy_next_upstream off;
proxy_pass http://backend;
}
proxy_next_upsteam
- off ：错误了还是返回。
- error：屏蔽错误,502。
- http_500：500 错误会被屏蔽
网友评论