对于拉勾网这种设置了基础反扒措施，如果不设置代理，基本上是无法将信息抓取下来的。这里有一个UA集合，只需要加载这个库，就可以进行多个UA之间的随机切换。fake-useragent
在执行代码之前，需要确认是否加载了各个模块，没有加载的，加载一下就好了。
这里是第一次使用fake-useragent，需要先下载下，在cmd.exe下，输入pip install fake-useragent
然后就可以执行代码了。
项目地址：scrapy_lagou
对于拉勾网这种设置了基础反扒措施，如果不设置代理，基本上是无法将信息抓取下来的。这里有一个UA集合，只需要加载这个库，就可以进行多个UA之间的随机切换。fake-useragent
在执行代码之前，需要确认是否加载了各个模块，没有加载的，加载一下就好了。
这里是第一次使用fake-useragent，需要先下载下，在cmd.exe下，输入pip install fake-useragent
然后就可以执行代码了。
项目地址：scrapy_lagou
本文标题：9.使用scrapy爬取拉钩招聘数据
本文链接：https://www.haomeiwen.com/subject/qabvbqtx.html
网友评论