首先声明本人非安全从业人员，请专业人士不要吐(gao)槽(wo)。但是我相信作为中小企业的运维人员和我一样，面临的困境就是：公司没有专业的安全工程师！不出问题，企业往往意识不到安全的重要性….，这个话题不深入讨论。

那么怎么办？作为一名运维工程师，我们的知识范围连“背黑锅”这么专业的技术都有，安全我们也可以兼职一下的。这就是答案，我们要自己干，有总比没有好！不埋怨！我们不能改变环境，但是可以改变自己，来影响环境。

1.1 WAF介绍

安全也是一个比较大的课题，不同视角、不同层级都会有不同的体系结构。那么今天的分享，我选择了一个特别贴近运维工程师实际工作的一个话题：如何使用Nginx+Lua来实现一个WAF。

WAF（Web Application Firewall），也就是Web应用防火墙。

一般企业用户都会选择使用防火墙作为企业安全的第一道防线，那么传统的网络防火墙墙只能够进行四层（OSI七层模型中的传输层）的防护，那么像SQL注入、XSS、网页挂马等安全问题却无法识别和解决，因为这些攻击是七层的（OSI 七层模型中的应用层），那么Web应用防火墙就顺势而生。因为有一个让我们胆战心惊的事实： “80端口是永远的后门”。（不管你怕不怕，反正我是怕了）

如果你觉得WAF比较陌生，没关系，作为非安全人员，这可以理解。那么我们先来亲近亲近，下面几个代码片段你一定非常的熟悉。我们经常会使用Nginx来做一些常规的安全防护：

拒绝特定User Agent的访问（想拿ab压测我，没门（除非你修改下UA，冏））

==Disable User Agents==

set $block_user_agents 0;

if ($http_user_agent ~ “Wget|ApacheBench|WebBench|TurnitinBot|libwww-perl”) {

set $block_user_agents 1;

}

if ($block_user_agents = 1) {

return 403;

}

拒绝访问特定后缀的文件（一不小心备份一个tar包，可不能直接被用户下载了去。）

==Disable non-security Download===

location ~* “.(sql|bak|inc|old|sh|zip|tgz|gz|tar)$”{

return 404;

}

防止SQL注入（我们的url参数中是不可能有select的）

==Block SQL Injections

set $block_sql_injections 0;

if ($query_string ~ “union.select.(“){

set $block_sql_injections 1;

}

if ( $block_sql_injections = 1){

return 403;

}

上面这三个例子，我相信大家都比较熟悉了，我们使用Nginx可以在应用层进行针对请求头部的UA进行过滤和指定动作（返回403）、针对请求的URL进行过滤匹配和指定动作（返回404）和针对请求的参数进行过滤匹配和指定动作（返回403）。是的，Nginx非常的强大，帮了我们很大忙，你还可以给指定的URL再增加频率限制来防止CC攻击。但是！待我细细道来……。

1.2 痛点是什么？

本文是介绍如何使用Nginx+Lua来实现一个Web应用防火墙，那么就像上面我们的例子，标准的Nginx可以实现很多的功能呢？为什么要自己造轮子？

我是一个比较保守的运维者，虽然偶尔也会为了个人的技术提高而使用某些技术，但是决不会为了这些而不干正事！所以说如果要造轮子一定是为了解决运维痛点，“凡是不以解决问题为出发点的造轮子就是耍流氓”，那么痛点是什么：

Nginx****不支持白名单：试想如果你要想这么设置，某一个IP不做防护（可能是你准备的一个漏洞扫描器，你当然不想被Nginx拦截）；某一个URL不做防护（由于业务原因，有一些URL不能做CC防护）。

Nginx****安全防护配置繁琐复杂：如果写一堆if else非常的繁琐，而且不能很直观的记录防护日志，比如我想单独把防护日志写成JSON的，把日志存入ELKStack中。

Nginx****语法简单：想自定义一些逻辑进去，Nginx支持的简单高效的语法有点苍白无力。

注：上面这些痛点如果你脑洞大开其实有很多魔法可以让Nginx来实现我说的这些哦，有兴趣自己试试，但是实现起来还是比较费劲。

注：Nginx其实提供了非常丰富的全局变量，我们可以拿来进行相应的匹配和过滤，详细可见源码包中的./src/http/ngx_http_variables.c的源码文件中。

1.3 我要造轮子！

好的，经过几个日夜的思考，我醒悟了，既然Nginx实现这么费劲，那么我就看看有没有别的方案：

Modsecurity：是我看到的第一个方案并在线上测试很长一段时间，因为它太强了，强大到我Hold不住，而且当时只支持Apache，后来才支持Nginx，但是经过我的测试，Nginx编译上Modsecurity之后，性能下降太大，放弃。不过Modsecurity可以作为造轮子的一个设计图纸。

ngx_lua_waf: 这个一个基于lua-nginx-module的web应用防火墙，作者是张会源（ID : kindle），微博:@神奇的魔法师，目前是快网云安全产品技术总监。很牛x的一个人，而且儿子长的也很帅！更多的开源项目可以关注：https://github.com/loveshell/

好的，下面我们的目标就是参照ngx_lua_waf使用Nginx+Lua来自己实现一个WAF，也就是当请求进来的时候经过我们的WAF进行检查，正常的请求，畅通无阻，非法请求关进小黑屋。至于Nginx+Lua相关的知识，大家可以自行搜索，本文使用Openresty来进行讲解。

1.4 先画一个图纸

作为一个非安全专业的运维人员，想搞一个WAF出来还是有点困难，不过胖子也是一口一口吃出来的，我们先画一个设计图纸，先具备基本功能，然后再慢慢完善。

那么WAF****一句话描述，就是解析HTTP****请求，然后做规则检测，做不同的防御动作，并将防御过程记录下来。我将这句话中四个重要的词进行了加粗，通过这一句话，我们就可以知道编写一个WAF****需要的四个基本模块：

• 解析HTTP****请求：协议解析模块，openresty****给我们提供了丰富的API****。
• 规则检测：规则检测模块，当然还需要有规则库。
• 防御动作：动作模块，比如是直接拒绝还是返回某一个状态码，还是重定向到某个页面。
• 过程记录：日志记录模块，过防御日志记录下来，编译后期统计和分析。

同时我们还需要一个配置文件，可以称之为WAF****的第五个模块，配置模块。

当然这个是一个非常简化的图纸了，如果你想真正开始开发一个产品，那么还是差很远，不过有一个还不错的设计图可以推荐一下：http://www.freebuf.com/tools/54221.html

1.5 安装Nginx+lua（openresty）

安装依赖包

# yum install -y readline-devel pcre-devel openssl-devel

# cd /usr/local/src

下载并编译安装openresty

# wget https://openresty.org/download/ngx_openresty-1.9.3.2.tar.gz

# tar zxf ngx_openresty-1.9.3.2.tar.gz

# cd ngx_openresty-1.9.3.2

*# ./configure –prefix=/usr/local/openresty-1.9.3.2 *

*–with-luajit –with-http_stub_status_module *

–with-pcre –with-pcre-jit

# gmake && gmake install

# ln -s /usr/local/openresty-1.9.3.2/ /usr/local/openresty

测试openresty****安装

# vim /usr/local/openresty/nginx/conf/nginx.conf

server {

** location /hello {**

** default_type text/html;**

** content_by_lua_block {**

** ngx.say(“HelloWorld”)**

** }**

** }**

}

# /usr/local/openresty/nginx/sbin/nginx -t

nginx: the configuration file /usr/local/openresty-1.9.3.2/nginx/conf/nginx.conf syntax is ok

nginx: configuration file /usr/local/openresty-1.9.3.2/nginx/conf/nginx.conf test is successful

# /usr/local/openresty/nginx/sbin/nginx

Hello World

# curl http://192.168.199.33/hello

HelloWorld

1.6 功能介绍

开始造轮子之前需要先设想一下，我们需要实现哪些功能。

• 配置文件：
  • 支持开启和关闭WAF，开启某项功能等。
  • CC防护频率设置
  • 规则库、日志记录的相关配置。
  • 异常请求处理配置，是返回403还是调整到某个页面
• IP白名单和黑名单
• URL白名单
• User Agent限制
• URL限制
  • 比如限制非安全访问、非安全下载等
• URL参数限制
  • 防止SQL注入、XSS
• Cookie限制
  • 防止SQL注入
• POST限制
  • 防止SQL注入、XSS
• CC防护
• 防护输出
  • 支持直接返回403
  • 支持直接输出一个页面
  • 支持直接调整到某个页面

好的，现在如果你有开发经验，那么需要30-60分钟的时间，看一看Lua语言快速入门之后，我们就可以开始了。

1.7 配置模块

那么我们先从配置模块开始，要编写一个WAF，那么肯定要有配置文件，配置文件用来控制和管理WAF的某些行为和相关的访问路径。

第一个要做的是一个配置开关，让用户可以自定义是否全部打开、全部关闭WAF防护，是否开启或者关闭某些WAF功能。这个很有必要，尤其是我们刚上线的时候，我们需要的场景是WAF不进行防御处理，只记录日志，用来观察WAF都干了什么，是否有误杀。

https://github.com/unixhot/waf/blob/master/waf/config.lua

–WAF config file,enable = “on”,disable = “off”

–waf status

config_waf_enable = “on”

–log dir

config_log_dir = “/tmp/waf_logs”

–rule setting

config_rule_dir = “/usr/local/openresty/nginx/conf/waf/rule-config”

–enable/disable white url

config_white_url_check = “on”

–enable/disable white ip

config_white_ip_check = “on”

–enable/disable block ip

config_black_ip_check = “on”

–enable/disable url filtering

config_url_check = “on”

–enalbe/disable url args filtering

config_url_args_check = “on”

–enable/disable user agent filtering

config_user_agent_check = “on”

–enable/disable cookie deny filtering

config_cookie_check = “on”

–enable/disable cc filtering

config_cc_check = “on”

–cc rate the xxx of xxx seconds

config_cc_rate = “10/60”

–enable/disable post filtering

config_post_check = “on”

–config waf output redirect/html

config_waf_output = “html”

–if config_waf_output ,setting url

config_waf_redirect_url = “http://www.baidu.com”

config_output_html=[[

<html>

<head>

<meta http-equiv=”Content-Type” content=”text/html; charset=utf-8″ />

<meta http-equiv=”Content-Language” content=”zh-cn” />

<title>网站防火墙</title>

</head>

<body>

<h1 align=”center”> 欢迎白帽子进行授权安全测试，安全漏洞请联系QQ：11111。

</body>

</html>

]]

配置文件，直接使用lua语法，没有设计单独的配置文件，这样的好处可以直接被lua其它代码require（include）进去。

1.8 基础库

由于我们后面需要获取用户的UA、用户的真实IP、规则库中的规则和通用的日志记录模块，所以我们把这些全部放在一个lib.lua文件里面，称之为基础库。

https://github.com/unixhot/waf/blob/master/waf/lib.lua

–把配置文件include进来，require是Lua语言的写法。

require ‘config’

–获取客户端的IP地址，如果有自定义的名称，就要根据实际情况调整了，暂时没有写到配置文件中。

function get_client_ip()

CLIENT_IP = ngx.req.get_headers()[“My_Set_ip”]

if CLIENT_IP == nil then

CLIENT_IP = ngx.req.get_headers()[“X_Forwarded_For”]

end

if CLIENT_IP == nil then

CLIENT_IP = ngx.var.remote_addr

end

if CLIENT_IP == nil then

CLIENT_IP = “unknown”

end

return CLIENT_IP

end

–获取客户端的User Agent

function get_user_agent()

USER_AGENT = ngx.var.http_user_agent

if USER_AGENT == nil then

USER_AGENT = “unknown”

end

return USER_AGENT

end

–打开规则文件并读到一个TABLE里面，返回这个TABLE。

function get_rule(rulefilename)

local io = require ‘io’

local RULE_PATH = config_rule_dir

local RULE_FILE = io.open(RULE_PATH..’/’..rulefilename,”r”)

if RULE_FILE == nil then

return

end

RULE_TABLE = {}

for line in RULE_FILE:lines() do

table.insert(RULE_TABLE,line)

end

RULE_FILE:close()

return(RULE_TABLE)

end

–把日志写成JSON的，这样LogStash收集的时候直接codec => json。

function log_record(method,url,data,ruletag)

local cjson = require(“cjson”)

local io = require ‘io’

local LOG_PATH = config_log_dir

local CLIENT_IP = get_client_ip()

local USER_AGENT = get_user_agent()

local SERVER_NAME = ngx.var.server_name

local LOCAL_TIME = ngx.localtime()

local log_json_obj = {

client_ip = CLIENT_IP,

local_time = LOACL_TIME,

server_name = SERVER_NAME,

user_agent = USER_AGENT,

attack_method = method,

req_url = url,

req_data = data,

rule_tag = ruletag,

}

local LOG_LINE = cjson.encode(log_json_obj)

local LOG_NAME = LOG_PATH..’/’..ngx.today()..”_waf.log”

local file = io.open(LOG_NAME,”a”)

if file == nil then

return

end

file:write(LOG_LINE..”\n”)

file:flush()

file:close()

end

–除了需要直接返回403外，提供了两种方法，输出一个自定义页面或者调整到某个页面。

function waf_output()

if config_waf_output == “redirect” then

ngx.redirect(config_waf_redirect_url, 301)

else

ngx.header.content_type = “text/html”

ngx.status = ngx.HTTP_FORBIDDEN

ngx.say(config_output_html)

ngx.exit(ngx.status)

end

end

1.9 规则检测模块

真正干活的时候到了。代码很简单，易读性也好，大家可以根据需求自己增加。

https://github.com/unixhot/waf/blob/master/waf/init.lua

access.lua

–WAF Action

require ‘config’

require ‘lib’

–args

local rulematch = ngx.re.find

local unescape = ngx.unescape_uri

–IP白名单检测，如果发现规则库whiteip.rule里面有这个IP。直接返回。

function white_ip_check()

if config_white_ip_check == “on” then

local IP_WHITE_RULE = get_rule(‘whiteip.rule’)

local WHITE_IP = get_client_ip()

if IP_WHITE_RULE ~= nil then

for _,rule in pairs(IP_WHITE_RULE) do

if rule ~= “” and rulematch(WHITE_IP,rule,”jo”) then

log_record(‘White_IP’,ngx.var_request_uri,””,””)

return true

end

end

end

end

end

–IP黑名单检测，如果发现规则库blackip.rule有这个黑名单，直接返回403并返回。（好的if和end啊。）

function black_ip_check()

if config_black_ip_check == “on” then

local IP_BLACK_RULE = get_rule(‘blackip.rule’)

local BLACK_IP = get_client_ip()

if IP_BLACK_RULE ~= nil then

for _,rule in pairs(IP_BLACK_RULE) do

if rule ~= “” and rulematch(BLACK_IP,rule,”jo”) then

log_record(‘BlackList_IP’,ngx.var_request_uri,””,””)

if config_waf_enable == “on” then

ngx.exit(403)

return true

end

end

end

end

end

end

–URL白名单，检测，如果发现规则库writeurl.rule有对应的url直接返回。

function white_url_check()

if config_white_url_check == “on” then

local URL_WHITE_RULES = get_rule(‘writeurl.rule’)

local REQ_URI = ngx.var.request_uri

if URL_WHITE_RULES ~= nil then

for _,rule in pairs(URL_WHITE_RULES) do

if rule ~= “” and rulematch(REQ_URI,rule,”jo”) then

return true

end

end

end

end

end

–CC返回，把IP和URL进行配对，一个IP访问相同的URL不能超过配置的次数。功能更强大的CC防护可以参考HttpGuard，同样是Nginx+lua。很容易集成过来。https://github.com/centos-bz/HttpGuard

function cc_attack_check()

if config_cc_check == “on” then

local ATTACK_URI=ngx.var.uri

local CC_TOKEN = get_client_ip()..ATTACK_URI

local limit = ngx.shared.limit

CCcount=tonumber(string.match(config_cc_rate,'(.*)/’))

CCseconds=tonumber(string.match(config_cc_rate,’/(.*)’))

local req,_ = limit:get(CC_TOKEN)

if req then

if req > CCcount then

log_record(‘CC_Attack’,ngx.var.request_uri,”-“,”-“)

if config_waf_enable == “on” then

ngx.exit(403)

end

else

limit:incr(CC_TOKEN,1)

end

else

limit:set(CC_TOKEN,1,CCseconds)

end

end

return false

end

–对提交的Cookie进行检测。

function cookie_attack_check()

if config_cookie_check == “on” then

local COOKIE_RULES = get_rule(‘cookie.rule’)

local USER_COOKIE = ngx.var.http_cookie

if USER_COOKIE ~= nil then

for _,rule in pairs(COOKIE_RULES) do

if rule ~=”” and rulematch(USER_COOKIE,rule,”jo”) then

log_record(‘Deny_Cookie’,ngx.var.request_uri,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

end

return false

end

–对请求的URL进行检测

function url_attack_check()

if config_url_check == “on” then

local URL_RULES = get_rule(‘url.rule’)

local REQ_URI = ngx.var.request_uri

for _,rule in pairs(URL_RULES) do

if rule ~=”” and rulematch(REQ_URI,rule,”jo”) then

log_record(‘Deny_URL’,REQ_URI,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

return false

end

–对请求的URL参数进行检测

function url_args_attack_check()

if config_url_args_check == “on” then

local ARGS_RULES = get_rule(‘args.rule’)

for _,rule in pairs(ARGS_RULES) do

local REQ_ARGS = ngx.req.get_uri_args()

for key, val in pairs(REQ_ARGS) do

if type(val) == ‘table’ then

ARGS_DATA = table.concat(val, ” “)

else

ARGS_DATA = val

end

if ARGS_DATA and type(ARGS_DATA) ~= “boolean” and rule ~=”” and rulematch(unescape(ARGS_DATA),rule,”jo”) then

log_record(‘Deny_URL_Args’,ngx.var.request_uri,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

end

return false

end

–对用户的User Agent进行检测

function user_agent_attack_check()

if config_user_agent_check == “on” then

local USER_AGENT_RULES = get_rule(‘useragent.rule’)

local USER_AGENT = ngx.var.http_user_agent

if USER_AGENT ~= nil then

for _,rule in pairs(USER_AGENT_RULES) do

if rule ~=”” and rulematch(USER_AGENT,rule,”jo”) then

log_record(‘Deny_USER_AGENT’,ngx.var.request_uri,”-“,rule)

if config_waf_enable == “on” then

waf_output()

return true

end

end

end

end

end

return false

end

1.10 main函数

main函数看似简单，但是顺序很重要哦。

https://github.com/unixhot/waf/blob/master/waf/access.lua

require ‘init’

function waf_main()

if white_ip_check() then

elseif black_ip_check() then

elseif user_agent_attack_check() then

elseif cc_attack_check() then

elseif cookie_attack_check() then

elseif white_url_check() then

elseif url_attack_check() then

elseif url_args_attack_check() then

–elseif post_attack_check() then

else

return

end

end

waf_main()

2 生产上线

现在，我们的WAF开发完毕了，要开始生产上线了，需要提前准备好环境，如果你之前使用的是openresty那么不需要重新编译，如果是Nginx需要重新编译增加lua模块，具体的步骤可以参考github上的文档。

由于篇幅有限，这里把几个技巧总结一下。

技巧一：不要一次性部署上线，先部署后，只记录日志，然后观察和调整规则，保证正常的请求不会被误防。

技巧二：使用SaltStack管理规则库的更新。

技巧三：使用ELKStack进行日志收集和分析，非常方便的可以在Kibana上做出一个漂亮的攻击统计的饼图。

2.1 有激情的下一步

好的，我们现在拥有了一个“相对完善”的WAF，而且并部署上线，可以帮我们有效的防御一些攻击，那么下一步我们需要怎么办呢？这里我列举了一些路径，有必选和可选，任君喜好！

漏洞平台：（必选）http://wooyun.org/ WooYun是一个位于厂商和安全研究者之间的安全问题反馈平台，作为厂商非常有必要注册一个厂商用户，这样如果有白帽子贡献漏洞，你就可以非常及时的发现，不过别忘了赠送礼品哦。

持续更新防护规则：（必选）规则更新也是安全技术的学习过程，不断的学习，不断将有效的规则增加到规则列表中，让规则库变得更加强大起来，不过前提最好是你Hold住，不要让一些莫名其妙的规则影响了正常的业务运行。

持续增加功能：（可选）既然选择了，就要坚定的走下去，或许你并不想自己造一个轮子，那么直接使用第三方的也是不错的选择。

2.2 并不明朗的展望

我们设计和部署了WAF，或者说使用了第三方的WAF服务，是不是就万事大吉，高枕无忧了呢？事实是WAF并不是万能的，或者说世界上任何一款安全产品都无法提供100%的安全防护。让我想起曾经读过的一句话：

凡是人设计的程序都存在人为因素，而任何一个人为因素都可以导致系统被入侵。

那么除了WAF自身的安全问题外，有一个悲伤的话题是WAF存在被绕过的风险。具体的资料大家可以通过网络搜索来获得，但不可否认的是WAF可以帮我们防御大部分的常规攻击，对于一些攻击者中的佼佼者，WAF并不能阻挡他们入侵的脚步，他们可以绕过WAF来实施攻击，而且还有更神秘的“社会工程学”！

总结：安全是相对的，没有100%的安全防护，但是做总比不做好，而且好很多很多。
很好得一篇文章，分享给有需要的人，原文链接:http://www.womaiyun.com/waf.html