美文网首页
3 获取代理并储存在Redis中

3 获取代理并储存在Redis中

作者: Pandaxzj | 来源:发表于2019-03-14 20:26 被阅读0次

    获取代理直接使用了Github上的proxy_pool

            将代码包下载下来并解压。

            首先要安装好基于python的支持库,可以如同README.md中的指令一样,在cmd中使用指令pip install -r requirements.txt一键安装,也可以一个一个安装所需要的库——这样可以获得最新的库——亲测没有版本适配问题。

            修改项目文件Config/setting.py如:

    127.0.0.1代表本地服务器/容器

            还可以选择提供代理的网站,依情况可以将最后几个取消注释:

            随后在cmd中进入RUN目录,使用python运行main.py就开始获取代理了,那一行红字应该可以无视:

    除非被强制中断,程序会一直进行下去。怎么查看已经获取的代理呢?Github上有一款叫做RedisClient的图形界面可以很方便地查看Redis的状态。RedisClient的Github主页上提供了exe和jar两种环境的程序,选择一种下载下来直接运行,填写好容器名、主机名和端口(教程中未设定密码)就可以查看Redis状态了:

            可以发现数据库中有raw和useful两种类型的代理,并且数目在不断发生着变化。说明程序在持续获取、验证、更新代理池中的代理。

    目录

    0 开始前的一个私货——cmder

    1 关于python, Redis和Docker

    2 Docker安装+Redis简易搭建

    相关文章

      网友评论

          本文标题:3 获取代理并储存在Redis中

          本文链接:https://www.haomeiwen.com/subject/wufhmqtx.html