Unix系统下的连接数限制

场景说明

---

在测试环境下，模拟上万个TCP连接，在CPU及内存都充足的情况下，无法达到预期，于是对操作系统的各种限制做了些小研究，总结整理如下。

1. 文件限制

---

• 每建立一个TCP连接，都会生成一个文件句柄，当无法创建文件时，往往会抛出emfile的错误。

• 可通过命令ulimit -n查看，linux下默认一般为1024，mac下则为256

• 修改文件限制（基于linux)

  1. 打开文件/etc/security/limits.conf
  2. 添加或修改nofile配置：

         *   soft   nofile  300000
         *   hard  nofile  300000
     

  3.重启生效

2. 打开进程限制

---

• 如果你对进程总数量没有特殊要求，可以不修改本选项，如果你是一个高性能多进程的server，需要很多进程来处理，那么可以修改本选项。ulimit -a 里可以看到 max user processes
• 配置文件：/etc/security/limits.d/20-nproc.conf （RHEL 7/CentOS 7，如果是 RHEL6.x/CentOS6.x 文件在/etc/security/limits.d/90-nproc.conf）
• 添加或修改：

        *   soft    nproc  4096
    ```
  
  

3. 端口号限制

---

• Unix/Linux 端口为16位正整数， 范围1_{65535；但1024以下端口需`root`，所以一般端口范围取1024}65535。而TCP连接往往是IP:Port，当只有一个IP时，TCP连接最大数量大约在6W

4. 网络配置

---

配置参考

# 避免放大攻击
net.ipv4.icmp_echo_ignore_broadcasts = 1

# 开启恶意icmp错误消息保护
net.ipv4.icmp_ignore_bogus_error_responses = 1

# 开启SYN洪水攻击保护
net.ipv4.tcp_syncookies = 1

# 开启并记录欺骗，源路由和重定向包
net.ipv4.conf.all.log_martians = 1
net.ipv4.conf.default.log_martians = 1

# 处理无源路由的包
net.ipv4.conf.all.accept_source_route = 0
net.ipv4.conf.default.accept_source_route = 0

# 开启反向路径过滤
net.ipv4.conf.all.rp_filter = 1
net.ipv4.conf.default.rp_filter = 1

# 确保无人能修改路由表
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.default.accept_redirects = 0
net.ipv4.conf.all.secure_redirects = 0
net.ipv4.conf.default.secure_redirects = 0

# 不充当路由器
net.ipv4.ip_forward = 0
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0

# 开启execshild
kernel.exec-shield = 1
kernel.randomize_va_space = 1

# IPv6设置
net.ipv6.conf.default.router_solicitations = 0
net.ipv6.conf.default.accept_ra_rtr_pref = 0
net.ipv6.conf.default.accept_ra_pinfo = 0
net.ipv6.conf.default.accept_ra_defrtr = 0
net.ipv6.conf.default.autoconf = 0
net.ipv6.conf.default.dad_transmits = 0
net.ipv6.conf.default.max_addresses = 1

# 优化LB使用的端口

# 增加系统文件描述符限制
fs.file-max = 65535

# 允许更多的PIDs (减少滚动翻转问题); may break some programs 32768
kernel.pid_max = 65536

# 增加系统IP端口限制
net.ipv4.ip_local_port_range = 2000 65000

# 增加TCP最大缓冲区大小
net.ipv4.tcp_rmem = 4096 87380 8388608
net.ipv4.tcp_wmem = 4096 87380 8388608

# 增加Linux自动调整TCP缓冲区限制
# 最小，默认和最大可使用的字节数
# 最大值不低于4MB，如果你使用非常高的BDP路径可以设置得更高

# Tcp窗口等
net.core.rmem_max = 8388608
net.core.wmem_max = 8388608
net.core.netdev_max_backlog = 5000
net.ipv4.tcp_window_scaling = 1

• 配置好后，执行命令生效，或者重启系统

/sbin/sysctl -p /etc/sysctl.conf
/sbin/sysctl -w net.ipv4.route.flush=1

• 通过sysctl -p 可查看配置信息， 如果错误会出现error信息

• 补充：

  • 当主动断开TCP连接时，服务端会存在过多处于TIME_WAIT状态的socket，会影响服务器的处理能力。
  • 优化配置：

# 开启重用，将TIME_WAIT的socket重新用于连接
net.ipv4.tcp_tw_reuse = 1

# 开启TCP连接中TIME_WAIT的socket快速回收
net.ipv4.tcp_tw_recycle = 1

# 修改系统默认的TIMEOUT时间
net.ipv4.tcp_fin_timeout = 30