现在的网络爬虫越来越多，有很多爬虫都是初学者写的，和搜索引擎的爬虫不一样，他们不懂如何控制速度，结果往往大量消耗服务器资源，导致带宽白白浪费了。
其实Nginx可以非常容易地根据User-Agent过滤请求，我们只需要在需要URL入口位置通过一个简单的正则表达式就可以过滤不符合要求的爬虫请求：
...
location / {
if ($http_user_agent ~* "python|curl|java|wget|httpclient|okhttp") {
return 503;
}
# 正常处理
...
}
...
变量$http_user_agent是一个可以直接在location中引用的Nginx变量。~*表示不区分大小写的正则匹配，通过python就可以过滤掉80%的Python爬虫。
现在的网络爬虫越来越多，有很多爬虫都是初学者写的，和搜索引擎的爬虫不一样，他们不懂如何控制速度，结果往往大量消耗服...
现在的网络爬虫越来越多，有很多爬虫都是初学者写的，和搜索引擎的爬虫不一样，他们不懂如何控制速度，结果往往大量消耗服...
方法一：通过 User-Agent 过滤 变量$http_user_agent是一个可以直接在location中引...
启动Nginx ps -ef | grep nginx 管道过滤实例进程
关于nginx的使用以及为什么使用【Nginx】什么是Nginx？为什么使用Nginx？nginx 之 proxy...
安装nginx brew install nginx安装后使用nginx -v查看nginx版本 配置nginx ...
使用技术： ElasticSearch搜索引擎+Kibana+Nginx负载均衡+Python爬虫+Redis实现...
使用 brew search nginx命令，搜索nginx 使用 brew install nginx命令，安...
目录 Nginx基础概念 安装Nginx与基本命令 配置nginx 初次使用nginx 1. Nginx基础概念 ...
目录 Nginx概述 Nginx调度算法 Nginx指令使用 Nginx负载均衡配置参数 1. Nginx概述 N...
本文标题：[Nginx](转载)使用Nginx过滤网络爬虫
本文链接：https://www.haomeiwen.com/subject/jsjcoxtx.html
网友评论