常见反爬虫和对应策略
更换user-agent
更换user-agent是一种很常用的爬虫伪装需求，这里我们可以使用middleware进行设置。
先在settings中设置一个downloader_middleware：
......
USER_AGENT = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':2
}
......
UserAgentMiddleware是scrapy自带的组件，它会在settings中寻找USER_AGENT，并全局修改替换每一个request中的user-agent, 在settings中默认是注释掉的， 取消掉注释便可使用生效。
此外，我们还可以对这个middleware进行改写，使其实现随机选取user-agent的功能，在这样做之前前，建议先将默认的UserAgent的Middleware置为None:
......
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None
}
user_agent_list = [
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36",
......
]
......
之后， 我们在middleware这个文件中重写一个middleware, 实现这些功能：
......
class RandomUserAgentMiddlware(object):
def __int__(self,crawler):
super(RandomUserAgentMiddleware,self).__int__()
self.user_agent_list = crawler.settings.get("user-agent-list")
@classmethod
def from_crawler(cls,crawler):
return cls(crawler)
def process_request(self,request,spider):
request.headers.setdefault('user-agent',random())
......
关于随机切换， 这里我们也可以考虑使用fake-useragent这个开源的包来实现：
from fake_useragent import UserAgent
......
class RandomUserAgentMiddlware(object):
def __int__(self,crawler):
super(RandomUserAgentMiddleware,self).__int__()
self.ua = UserAgent()
@classmethod
def from_crawler(cls,crawler):
return cls(crawler)
def process_request(self,request,spider):
request.headers.setdefault('User-Agent',self.ua.random)
request.meta["proxy"] = "https://:"
......
关于cookie
cookie是一种常用的反爬手段，有的网站会将给用户的访问记录存储到用户的cookie中，等下次该用户访问时，会查验该cookie作为判断其是否为爬虫的依据，对于这种方式，我们可以将爬虫程序禁止存储cookie即可，例如在scrapy中，禁用cookie可以通过在settings.py中进行如下设置：
COOKIES_ENABLED = True
关于IP代理池
首先，在settings中编写代理：
IPPOOL=[
{"ipaddr":"219.228.126.86:8123"},
{"ipaddr":"61.152.81.193:9100"},
{"ipaddr":"218.82.33.225:53853"},
{"ipaddr":"223.167.190.17:42789"}
]
配置中间件文件：
import random
from scrapy import signals
from myproxies.settings import IPPOOL
class MyproxiesSpiderMiddleware(object):
def __init__(self,ip=''):
self.ip=ip
def process_request(self, request, spider):
thisip=random.choice(IPPOOL)
print("this is ip:"+thisip["ipaddr"])
request.meta["proxy"]="http://"+thisip["ipaddr"]
在settings中设置downloader_middlewares:
DOWNLOADER_MIDDLEWARES = {
'myproxies.middlewares.MyproxiesSpiderMiddleware':125
}
四、selenium不加载图片的设置
......
chrome_opt = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_sttings.images":2}
chrome_opt.add_experimental_option("prefs",prefs)
browser = webdriver.Chrome(executable_path="",chrome_options = chrome_opt)
......
这样对于一些不需要加载图片的任务， 可以减少很多对象的请求， 可以加速页面的加载速度。
五、无界面浏览器phantomjs的使用
对于我们的一些无界面服务器Centos,ubuntu，可以使用phantomjs。在selenium中它的使用和chrome基本相同。
六、将selenium集成到scrapy中
我们可以考虑将selenium集成到scrapy中， 专门用于解决某些动态页面的加载：
#spiders/XXX.py
......
from selenium import webdriver
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals
class XXXSpider(object):
def __init__(self):
self.browser = webdriver,Chrome(executable_path="")
super(XXXSpider,self).__init__()
#通过信号量追踪，将信号spider_closed与函数spider_closed进行绑定
dispatcher.connect(self.spider_closed,signals.spider_closed)
def spider_closed(self,spider):
print("spider closed")
self.browser.quit()
......
#middlewares.py
from scrapy.http import HtmlResponse
......
class JSPageMiddleware(object):
def process_request(self,request,spider):
if spider.name == "<爬虫名>":
spider.browser.get(request.url)
import time
time.sleep(3)
return HtmlResponse(url=spider.browser.current_url,body=spider.browser.page_source,encoding="utf-8",request=request)
......
middlewares处理过的requests接下来都会被发给downloader进行页面下载， 由于我们的selenium已经进行了页面下载，所以不需要再发给downloader了， 我们直接用selenium分析页面的结果用来构建一个response, 返回给spider。
七、无界面运行chrome的方法
首先安装一个包, 当然这个包只能在linux中使用：
pip install pyvirtualdisplay
我们在脚本中添加相关代码：
#middlewares
from pyvirtualdisplay import Display
display = Display(visible=0,size=(800,600))
display.start()
browser = webdriver.Chrome()
......
八、其它方案
splinter、scrapy-splash、selenium-grid
网友评论