企业安全最佳实践-全流量Web入侵检测系统

​一.背景说明

从目前来看，大多数互联网业务是以web服务对外交付的，攻击者大多数也是通过web入侵到系统里，不管什么方式，都绕不过web系统的探测和入侵尝试这一关，所以如果要做入侵检测，可以尝试从web日志中分析入侵详情。

二.Web入侵检测系统技术架构

第一步 考虑日志的收集

web日志常用的方法是收集accesslog，但因为一般accesslog日志中缺少post，response，header数据，对于检测效果会有较大影响，后来我们考虑通过全流量收集http日志，使用Bro解析HTTP流量，可以较好解决以上问题。

说明：由于现在的网站基本上都采用了https加密，所以抓包的位置我们是放在Nginx服务器所在的接口上。

第二步 考虑入侵检测分析

部分实时特征非常明显的攻击，我们直接在Bro这一层分析，如信息泄露/命令执行/webshell执行；

部分需要进一步分析的，我们将http日志存储到ES后进一步分析，如SQL注入/暴力破解

第三步 考虑告警展现

我们开发了一个安全管理平台，将入侵详细信息展现在这个平台上

第四步 考虑告警

我们将入侵告警接入到钉钉机器人，对于攻击行为第一时间告警出来

三.Web入侵检测技术实现

1.SQL注入

利用elasticsearch的API从elasticsearch中检索特定的敏感关键字如

["select", "ifnull", "cast", "union", "sleep", "substring", "substr","mid", "ascii", "when", "case", "sysdate", "now", "database", "version", "information_schema"]等关键字，并关联到IP信息查看此IP请求的URL中出现敏感关键字的次数，如果次数超过预定阀值10次，则将此IP 定为恶意IP。将此IP的最近30分钟的访问记录从ES中取出来存入Redis中后续处理。 由于SQL注入想跨数据库获取数据必须使用到information_schema.schemata这个数据表，因此我们对单个IP的访问分析请求中是否匹配 .*schema_name.*from.*information_schema\.schemata.*等模式，如果匹配一次记录为一次异常，此IP最近30分钟的异常次数超过10此判 定为存在SQL注入成功。触发报警。

程序每5分钟从elasticsearch中拉取最近15分钟的数据分析查看是否有恶意IP，如果有实施检测。

2.暴力破解

利用ES的API的排序功能从elasticsearch中抽取访问量排名top3000的url，取这些url的hash值和访问量存入数据库中。 每五分钟抽取一次数据与前五分钟的数据对比，并且计算出下个五分钟的预估值并且计算出最大偏差量，下一次五分钟的访问量与上次的 预估值对比超过阀值就认为存在异常展示在首页。

监控url中含有login/captcha/register等关键字的url，过滤掉非重要接口

3.webshell检测

利用bro脚本对请求头、uri、POST、响应状态码数据做规则匹配，如

(/eval.*base64_decode/ in c$http$post_body || /eval.*base64_decode/ in c$http$uri) && c$http$status_code == 200

4.信息泄漏检测

利用bro脚本实时检测请求和响应中对应的关键字、状态码，如 响应中包含下面关键字，状态码是200时，记录下来 [phpinfo(),root:x:0:0,Index of /,Directory Listing,.git,.svn] 请求中包含下面关键字，状态码是200时，记录下来 [.bak,.swp,.old,.bat,.sh,.zip,.7z,.gz,.rar,.iso] 记录这些泄露信息的请求到数据库中，然后展示到前端页面。

5.命令执行检测

利用bro脚本对请求头、uri、POST数据做规则匹配，如 "@type" in c$http$post_body || "@type" in c$http$uri

/[^a-zA-Z0-9][oO][gG][nN][lL]/ in c$http$post_body || /[^a-zA-Z0-9][oO][gG][nN][lL]/ in c$http$uri || /[Rr][Uu][nN][tT][iI][mM][eM].*[eE][xX][cC]/ in c$http$post_body || /[Rr][Uu][nN][tT][iI][mM][eM].*[eE][xX][cC]/ in c$http$uri || "/dev/tcp/" in c$http$uri || "/dev/tcp/" in c$http$post_body || /[^a-zA-Z0-9][oO][gG][nN][lL]/ in c$http$header_string || /[Rr][Uu][nN][tT][iI][mM][eM].*[eE][xX][cC]/ in c$http$header_string || "/dev/tcp/" in c$http$header_string

/[^a-zA-Z0-9][pP][iI][nN][gG].*-c[^a-zA-Z0-9]/ in c$http$post_body || /[^a-zA-Z0-9][pP][iI][nN][gG].*-c[^a-zA-Z0-9]/ in c$http$uri || /[^a-zA-Z0-9][cC][uU][rR][lL][^a-zA-Z0-9]/ in c$http$post_body || /[^a-zA-Z0-9][cC][uU][rR][lL][^a-zA-Z0-9]/ in c$http$uri

6.敏感接口信息异常访问

统计含有手机号等敏感信息的接口访问次数，记录异常访问情况并告警。

四.实际使用效果

1.暴力破解

2.命令执行

Struts2命令执行漏洞尝试攻击（用到header数据）

3.信息泄露

phpinfo泄露

4.sql注入

生产环境没有发生过注入攻击，以下为测试的截图

5.webshell检测

菜刀webshell执行

五.项目收益

该系统建成后，大大提升了公司的安全威胁感知能力！

1.比如在Struts2-045漏洞爆发后的一周内，我们频繁收到入侵尝试告警；

2.检测出开发在测试过程中上传phpinfo代码文件并执行

3.安全众测过程中发现暴力扫描，白帽子测试未经授权APP情况

4.发现敏感接口大量遍历行为，确认存在安全漏洞

5.有了这个安全数据平台，安全团队可以从中统计各种入侵类型 入侵IP分布，安全风险态势等

五.未来展望

全流量抓包的优点是数据全，扩展性强，但这个实施起来技术难度有点大，涉及端口镜像/Bro/ELK部署等，我们投入3个人，花半年时间才完成的。

未来可以继续扩展，把系统日志 /安全日志 /堡垒机日志 /VPN日志接入到这个平台上，进一步加强安全检测能力。

当然跟HIDS相比，对于系统级别的入侵，检测能力还是非常不足。