美文网首页
Python爬虫-Proxy_Pool处理IP被封问题

Python爬虫-Proxy_Pool处理IP被封问题

作者: 坤哥爱卿 | 来源:发表于2019-08-08 18:04 被阅读0次

Proxy_Pool下载地址:https://github.com/jhao104/proxy_pool

1.下载Proxy_Pool解压

2.解压后如下图

3.打开requirements.txt,打开命令行工具,pip install  库名  安装,通过命令 pip list可以查看已经安装过的包

4.到Run文件夹下运行main.py文件,可能出现下图的报错

报错

解决方法:

1 2

5.启动过几分钟后就能看到抓取到的代理IP,你可以直接到数据库中查看,推荐一个SSDB可视化工具(https://github.com/jhao104/SSDBAdmin)。

也可以通过api访问http://127.0.0.1:5010 

相关文章

网友评论

      本文标题:Python爬虫-Proxy_Pool处理IP被封问题

      本文链接:https://www.haomeiwen.com/subject/zocfjctx.html