【爬虫】免费代理IP地址列表与部分抓取源码

作者: whaike | 来源:发表于2016-12-26 19:20 被阅读1801次

    最近在学习爬虫程序,反爬时非常缺少代理IP,本来网上的有效免费代理就少,何况我需要的还必须支持HTTPS,就更少了,于是只能硬着头皮网上搜了,功夫负有心人,让我找到一些可用的地址,现将他们一一列举出来,有需要者可以免去寻找的烦恼了。
    挑了几个比较好爬的,使用python 2.7爬取HTTPS代理并写入MySQL数据库(5.6)的代码见Github地址:https://github.com/whaike/HTTPSProxy/blob/master/httpsProxys.py

    在网上看到一个比较好的代理IP池更新方案,每次校验之后对于数据库中的代理进行打分,合格的加分,失败的减分,分数高的保留,分数低的删除,最近实现了一个简易的,不好的地方请指正。详见Github一个带有打分机制的代理IP池

    代理地址最后验证日期:2017-8-28
    纯真
    66免费代理网 #推荐
    西刺免费代理IP
    酷伯伯HTTP代理
    快代理
    proxy360.cn
    站大爷
    Free Proxy List
    年少#不稳定
    全网代理IP
    IP海
    每日代理 #渣渣
    360代理IP
    流年免费HTTP代理IP 24小时自助提取系统 #推荐
    云代理
    秘密代理IP #渣渣
    迷惘网络IP代理
    敲代码 免费代理IP网 #不稳定
    代理IP检测平台,100免费代理IP
    瑶瑶代理IP
    米扑代理
    httpdaili
    蚂蚁代理
    风云代理IP#不稳定
    开心代理
    讯代理
    急速IP #渣渣
    最后附上一篇关于代理IP的知识 [中国百科网 代理IP是如何获取的] (http://www.chinabaike.com/t/10475/2016/0530/5239251.html)

    相关文章

      网友评论

      本文标题:【爬虫】免费代理IP地址列表与部分抓取源码

      本文链接:https://www.haomeiwen.com/subject/tiajvttx.html