美文网首页程序猿的进阶屋PHP经验分享
利用Nginx+lua扩展+redis实现网站拒绝高频次IP访问

利用Nginx+lua扩展+redis实现网站拒绝高频次IP访问

作者: 肆肆叁 | 来源:发表于2017-10-30 22:55 被阅读0次

    一:基础环境

    CentOS6.2

    nginx1.11.10

    redis2.8.21

    二:扩展安装

    (1)先安装Nginx需要的一些类库:

    yum install gcc

    yum install gcc-c++

    注:此步骤只是在你的系统没有安装 gcc/gcc-c++ 的情况下才需要自行编译安装。

    (2)编译安装库LuaJit-2.0.3:

    ./configure --prefix=/usr/local/luajit

    make PREFIX=/usr/local/luajit

    make install PREFIX=/usr/local/luajit

    在/etc/profile文件中增加环境变量,并执行 source /etc/profile 使之生效(非必须):

    export LUAJIT_LIB=/usr/install/luajit/lib

    export LUAJIT_INC=/usr/install/luajit/include/luajit-2.0

    注:此步骤只是在你的系统没有安装 LuaJIT 的情况下才需要自行编译安装。

    (3)下载模块依赖 pcre-8.34、zlib-1.2.8、ngx_devel_kit 和 lua-nginx-module,最后编译Nginx:

    完整的参数可能这样:

    nginx -V

    nginx version: nginx/1.11.10

    built by gcc 4.4.7 20120313 (Red Hat 4.4.7-11) (GCC)

    built with OpenSSL 1.0.1e-fips 11 Feb 2013

    TLS SNI support enabled

    configure arguments: --prefix=/usr/local/nginx --user=www --group=www --with-http_stub_status_module --with-http_ssl_module --with-http_v2_module --with-http_image_filter_module --with-http_gzip_static_module --with-http_realip_module --add-module=src/http/modules/nginx_upstream_check_module --add-module=src/http/modules/ngx_cache_purge/ --with-http_sub_module --add-module=src/http/modules/nginx-http-concat --with-http_random_index_module --add-module=src/ngx_devel_kit-0.3.0 --add-module=src/lua-nginx-module-master --add-module=src/http/modules/ngx_http_substitutions_filter_module-master/

    三:lua使用redis

    (1)下载lua连接操作redis必须文件

    https://github.com/openresty/lua-resty-redis/blob/master/lib/resty/redis.lua

    可将此文件放置于新创建的文件夹下

    /usr/local/lua-resty-redis/

    (2)nginx中引用

    lua_package_path "/usr/local/lua-resty/redis.lua;;";

    注:连接redis扩展包的引用要写在server之外

    四:lua连接redis

    文件名叫intercept_ip.lua

    local redis = require "resty.redis"

    local cache = redis.new()

    local ok , err = cache.connect(cache,"127.0.0.1","6379")

    cache:set_timeout(60000)

    如果redis配置了requirepass,需要加一行

    ok , err = cache:auth("相应的验证密码")

    五:实现记录客户端IP与访问时间并对频次进行限制

    (1)访问频次设置为30秒10次,进行测试,具体值根据实际场景需求进行设置

    ip_time_out = 30

    connect_count = 10

    local host_name = ngx.var.remote_addr

    start_time , err = cache:get(host_name .. "_time")

    ip_count , err = cache:get(host_name .."_count")

    if is_bind == '1' then

        ngx.exit(403)

    end

    if start_time == ngx.null or os.time() - start_time > ip_time_out then

        res , err = cache:set(host_name .. "_time" , os.time())

        res , err = cache:set(host_name .. "_count" , 1)

    else

        ip_count = ip_count + 1

        res , err = cache:incr(host_name .. "_count" )

        if ip_count >= connect_count then

            res , err = cache:set(host_name .. "_bind" , 1)

        end

    end

    以上针对IP访问次数进行了屏蔽,但问题依然存在。

    第一:采集用的IP通常是不固定的,也就是说每隔一段时间,IP资源会重置,旧的IP资源可能会被分配到正常用户的客户端上。所以我们要对IP设置解封时间

    第二:如果是公司接入专线,有可能几十人或者近百人同时访问。所以我们要做一个可以校验是否为浏览器的测试。

    (2)根据以上问题对代码进行完善

    --封禁IP时间

    ip_bind_time = 30

    --指定ip访问频率时间段

    ip_time_out = 30

    --指定ip访问频率计数最大值

    connect_count = 10

    local host_name = ngx.var.remote_addr

    --连接redis

    local redis = require "resty.redis"

    local cache = redis.new()

    local ok , err = cache.connect(cache,"127.0.0.1","6379")

    local random = math.random(99999)

    cache:set_timeout(60000)

    --如果连接失败,跳转到脚本结尾

    if not ok then

        goto A

    end

    --查询ip是否在封禁段内,若在则返回403错误代码

    --因封禁时间会大于ip记录时间,故此处不对ip时间key和计数key做处理

    is_bind , err = cache:get("bind_"..host_name)

    --判断是否是被标记的ip,如果已经被标记则检测设置的cookie是否正常返回

    --cookie正常返回则判断是浏览器行为,删除记录值,否则认为是非正常流量,返回403

    if is_bind == '1' then

        is_token , err = cache:get("token_"..host_name)

        if (ngx.var.cookie_token == is_token)then

            res , err = cache:del("bind_"..host_name)

            res , err = cache:del("token_"..host_name)

            res , err = cache:del("count_"..host_name)

            res , err = cache:del("time_"..host_name)

            goto A

        else

            res , err = cache:del("token_"..host_name)

            ngx.exit(403)

        end

        goto A

    end

    start_time , err = cache:get("time_"..host_name

    ip_count , err = cache:get("count_"..host_name)

    --如果ip记录时间大于指定时间间隔或者记录时间或者不存在ip时间key则重置时间key和计数key

    --如果ip时间key小于时间间隔,则ip计数+1,且如果ip计数大于ip频率计数,则设置ip的封禁key为1

    --同时设置封禁key的过期时间为封禁ip的时间

    if start_time == ngx.null or os.time() - start_time > ip_time_out then

        res , err = cache:set("time_"..host_name , os.time())

        res , err = cache:set("count_"..host_name , 1)

    else

        ip_count = ip_count + 1

        res , err = cache:incr("count_"..host_name)

        if ip_count >= connect_count then

            res , err = cache:set("bind_"..host_name,1)

            res , err = cache:expire("bind_"..host_name,ip_bind_time)

            local token = ngx.md5(random)

            res , err = cache:set("token_"..host_name,token)

            ngx.header["Set-Cookie"] = {"token="..token}

        end

    end

    --结尾标记

    ::A::

    local ok, err = cache:close()

    以上我们完成了对访问客户端IP甄别以及频次限制的nginx_lua脚本,但每个客户端IP从访问到结束,如果走完了被屏蔽的流程,会产生4个key。如果没产生屏蔽,则会留下两个key。造成了redis中key的臃肿。我们可以使用redis hash进行优化一下

    (3)优化脚本

    if not ok then

        goto A

    end

    --查询ip是否在封禁段内,若在则返回403错误代码

    --因封禁时间会大于ip记录时间,故此处不对ip时间key和计数key做处理

    is_bind , err = cache:hget(host_name , "bind")

    --判断是否是被标记的ip,如果已经被标记则检测设置的cookie是否正常返回

    --cookie正常返回则判断是浏览器行为,删除记录值,否则认为是非正常流量,返回403

    if is_bind == '1' then

        is_token , err = cache:hget(host_name , "token")

        if (ngx.var.cookie_token == is_token)then

            res , err = cache:hdel(host_name , "bind")

            res , err = cache:hdel(host_name , "token")

            res , err = cache:hdel(host_name , "count")

            res , err = cache:hdel(host_name , "time")

            goto A

        else

            res , err = cache:hdel(host_name , "token")

            ngx.exit(403)

        end

        goto A

    end

    start_time , err = cache:hget(host_name , "time")

    ip_count , err = cache:hget(host_name , "count")

    --如果ip记录时间大于指定时间间隔或者记录时间或者不存在ip时间key则重置时间key和计数key

    --如果ip时间key小于时间间隔,则ip计数+1,且如果ip计数大于ip频率计数,则设置ip的封禁key为1

    --同时设置封禁key的过期时间为封禁ip的时间

    if start_time == ngx.null or os.time() - start_time > ip_time_out then

        res , err = cache:hset(host_name , "time" , os.time())

        res , err = cache:hset(host_name , "count" , 1)

    else

        ip_count = ip_count + 1

        res , err = cache:hincrby(host_name , "count" , 1)

        if ip_count >= connect_count then

            res , err = cache:hset(host_name , "bind" , 1)

            res , err = cache:expire(host_name , ip_bind_time)

            local token = ngx.md5(random)

            res , err = cache:hset(host_name , "token" , token)

            ngx.header["Set-Cookie"] = {"token="..token}

        end

    end

    --结尾标记

    ::A::

    local ok, err = cache:close()

    六:nginx中引用此脚本

    location / {

        access_by_lua_file conf/intercept_ip.lua;

    }

    七:结束语

    在实际生产场景应用中我们会考虑更多的因素,所以脚本只是根据一部分需求进行的实现,还有更多的需求需要去完善。

    防采集,防cc攻击仅仅只是应对策略,我们无法完全禁止采集行为,但可以通过此类方式大大提高攻击者的成本,进而保证自身的安全与稳定。

    例如:

    我们设置访问频次为每分钟访问70次属于正常行为

    采集者通过测试发现了这个频次,将程序的访问频次设置为每秒钟1次,这样虽然保证了网站的稳定性,但数据依然是被拿走了。

    因此,此脚本仍然有完善的空间,利用更合适的算法去细化访问的规则。

    欢迎拍砖讨论,转载请注明出处,不胜感激。

    相关文章

      网友评论

        本文标题:利用Nginx+lua扩展+redis实现网站拒绝高频次IP访问

        本文链接:https://www.haomeiwen.com/subject/ybtmpxtx.html