IPSET

本项目提供与Linux IPSET技术兼容的服务器隔离策略自动部署和更新方案

快速开始

本项目为Golang开发的插件

原理

  IPTables是Linux服务器上进行网络隔离的核心技术，内核在处理网络请求时会对IPTables中的策略进行逐条解析，因此当策略较多时效率较低；而是用IPSet技术可以将策略中的五元组(协议，源地址，源端口,目的地址，目的端口)合并到有限的集合中，可以大大减少IPTables策略条目从而提高效率。测试结果显示IPSet方式效率将比IPTables提高100倍。
  使用到的IPTables参数如下：

-A  INPUT|OUTPUT     指定IPTables链，对应网络数据流相对于当前网卡的方向是流入或流出
-p  tcp|udp|icmp     指定网络数据流使用的协议
-m  state|set        指定加载的模块：set对应IPSet模块，具体的介绍在后面；state模块用于限定连接状态，配置此项可以避免对每个ACCEPT的策略同时加入INPUT链和OUTPUT链
-j  ACCEPT|REJECT    指定对网络数据流放行或拒绝

  目前网络隔离使用默认拒绝+白名单的方式配置，在配置IPSet表时，根据其方向、协议、是否放行及五元组类型可以分为24个list:set类型的集合，每个list:set集合可以容纳65536个其他类型集合(目前为hash:ip hash:ip,port)，从而容纳海量策略：

in_tcp_acc_si    out_tcp_acc_di 
in_tcp_rej_si    out_tcp_rej_di 
in_udp_acc_si    out_udp_acc_di 
in_udp_rej_si    out_udp_rej_di 
in_tcp_acc_dp    out_tcp_acc_dp 
in_tcp_rej_dp    out_tcp_rej_dp 
in_udp_acc_dp    out_udp_acc_dp
in_udp_rej_dp    out_udp_rej_dp 
in_tcp_acc_sidp  out_tcp_acc_didp
in_tcp_rej_sidp  out_tcp_rej_didp
in_udp_acc_sidp  out_udp_acc_didp
in_udp_rej_sidp  out_udp_rej_didp

IPSet策略设计

  使用到的IPSet类型

• hash:ip 用于单独指定(si=源地址)或(di=目标地址)，这两种在本方案中都会使用
• hash:ip,port 用于指定(sisp=源地址-源端口)、(disp=目的地址-源端口)、(sidp=源地址-目的端口)、(didp=目的地址-目的端口)，后两种在本方案中会使用
• bitmap:port 用于单独指定端口(sp=源端口)或(dp=目的端口)，后一种在本方案中会使用
• list:set 用于容纳前述三种集合类型，且不能包含本身

  目前存在的hash:ip hash:ip,port容量设置为1048576，bitmap:port容量设置为65536，外层list:set容量设置为65536，这样任意一个list:set集合可以容纳1048576*65536=600亿 个元素，整体结构如下：

IPTables
    in_tcp_acc_si        
        set1
        set2
        ....
        setn
    in_tcp_rej_si        
        set1
        set2
        ....
        setn
    in_udp_acc_si      
    in_udp_rej_si
    in_tcp_acc_dp    
    in_tcp_rej_dp        
    in_udp_acc_dp        
    in_udp_rej_dp        
    in_tcp_acc_sidp    
    in_tcp_rej_sidp    
    in_udp_acc_sidp    
    in_udp_rej_sidp    
    out_tcp_acc_di  
    out_tcp_rej_di  
    out_udp_acc_di  
    out_udp_rej_di  
    out_tcp_acc_dp  
    out_tcp_rej_dp  
    out_udp_acc_dp
    out_udp_rej_dp  
    out_tcp_acc_didp
    out_tcp_rej_didp
    out_udp_acc_didp
    out_udp_rej_didp

IPSet使用注意事项

1.hash类型集合在iptables命令执行时大小确定，后期如果对该集合增加较多元素会发生哈希冲突，影响策略匹配。因此建立集合时需要设定一个较大容量
2.ipset的集合在执行iptables后进行更新操作时，会在这段时间执行默认操作(reject)
3.list:set不能包含list:set类型，只能包含其他类型

IPTables策略设计

  按如下形式固定IPTables策略，可避免IPTables本身策略的备份与恢复操作(IPTables进行restore操作时会全量还原重置，而IPSet进行restore操作时是增量进行的)：

*filter
:INPUT DROP [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT DROP [0:0]
-A INPUT -i lo -j ACCEPT 
-A INPUT -p icmp -j ACCEPT 
-A INPUT -m state --state RELATED,ESTABLISHED -j ACCEPT    
-A INPUT -p tcp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set in_tcp_acc_si src         
-A INPUT -p tcp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set in_tcp_acc_dp dst         
-A INPUT -p tcp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set in_tcp_acc_sidp src,dst   
-A INPUT -p tcp -m state --state NEW,ESTABLISHED -j REJECT -m set --set in_tcp_rej_si src         
-A INPUT -p tcp -m state --state NEW,ESTABLISHED -j REJECT -m set --set in_tcp_rej_dp dst         
-A INPUT -p tcp -m state --state NEW,ESTABLISHED -j REJECT -m set --set in_tcp_rej_sidp src,dst   
-A INPUT -p udp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set in_udp_acc_si src         
-A INPUT -p udp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set in_udp_acc_dp dst         
-A INPUT -p udp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set in_udp_acc_sidp src,dst   
-A INPUT -p udp -m state --state NEW,ESTABLISHED -j REJECT -m set --set in_udp_rej_si src         
-A INPUT -p udp -m state --state NEW,ESTABLISHED -j REJECT -m set --set in_udp_rej_dp dst         
-A INPUT -p udp -m state --state NEW,ESTABLISHED -j REJECT -m set --set in_udp_rej_sidp src,dst   
-A INPUT -m state --state NEW -j REJECT
-A OUTPUT -o lo -j ACCEPT 
-A OUTPUT -p icmp -j ACCEPT 
-A OUTPUT -m state --state RELATED,ESTABLISHED -j ACCEPT 
-A OUTPUT -p tcp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set out_tcp_acc_di src       
-A OUTPUT -p tcp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set out_tcp_acc_dp dst       
-A OUTPUT -p tcp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set out_tcp_acc_didp src,dst 
-A OUTPUT -p tcp -m state --state NEW,ESTABLISHED -j REJECT -m set --set out_tcp_rej_di src       
-A OUTPUT -p tcp -m state --state NEW,ESTABLISHED -j REJECT -m set --set out_tcp_rej_dp dst       
-A OUTPUT -p tcp -m state --state NEW,ESTABLISHED -j REJECT -m set --set out_tcp_rej_didp src,dst 
-A OUTPUT -p udp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set out_udp_acc_di src       
-A OUTPUT -p udp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set out_udp_acc_dp dst       
-A OUTPUT -p udp -m state --state NEW,ESTABLISHED -j ACCEPT -m set --set out_udp_acc_didp src,dst 
-A OUTPUT -p udp -m state --state NEW,ESTABLISHED -j REJECT -m set --set out_udp_rej_di src       
-A OUTPUT -p udp -m state --state NEW,ESTABLISHED -j REJECT -m set --set out_udp_rej_dp dst       
-A OUTPUT -p udp -m state --state NEW,ESTABLISHED -j REJECT -m set --set out_udp_rej_didp src,dst 
-A OUTPUT -j LOG --log-prefix "iptables:"
-A OUTPUT -m state --state NEW -j REJECT 
COMMIT

  现在来考虑IPSet指定的五元组的问题

• INPUT连接：考虑socket的accept函数，源端即远程主机，目的端即本机。这里只考虑新链接(NEW)
• • 源地址 即远程主机地址，可以作为策略限制因子
• • 源端口 即远程主机端口，一般为随机端口，不可作为策略限制因子
• • 目的地址 即本机地址，由于是固定的，无需作为策略限制因子
• • 目的端口 即本机端口，可以作为策略限制因子
• OUTPUT连接：考虑socket的connect函数，源端即本机，目的端即远程主机。这里只考虑新链接(NEW)
• • 源地址 即本机地址，由于是固定的，无需作为策略限制因子
• • 源端口 即本机端口，一般为随机端口，不可作为策略限制因子
• • 目的地址 即远程主机地址，可以作为策略限制因子
• • 目的端口 即远程主机端口，可以作为策略限制因子

  综上，对于INPUT连接，可以指定源地址(si)、目的端口(dp)、源地址+目的端口(sidp)；而对于OUTPUT连接，可以指定目的地址(di)、目的端口(dp)、目的地址+目的端口(didp)

IPSet方案相比IPTables方案的优点

• IPSet基于IPTables方案，是对IPTables技术的优化，将线性策略查找优化为集合元素查找，提高了通信速度
• IPSet方案在进行下发更新时，只需要对IPSet策略进行更新，无需对IPTables策略进行更新，由于在这种情况下IPTables条目极少，且无需还原操作，因此在更新的时间段对网络策略的影响较小，不会出现因为IPTables重置而导致短时间策略失效问题