美文网首页
python学习—week12

python学习—week12

作者: 大脸飞 | 来源:发表于2019-03-04 08:50 被阅读0次

    week11总结:

    1.给代理池增加了一个很简单的验证代理地址有效性的功能,把地址一个一个读出来,失效的删掉,然后删的只剩下两条了……结论:免费代理真不靠谱

    2.利用代理地址对一个网站进行了爬取,整体设计是取出代理,失效的话更换地址,有效的话进行爬取,数据存储到mongoDB,每爬取一页换一个代理地址。

    3.犯了一个很经典的错误:

    刚开始except里只是调用了函数本身,没有return,这样就造成try可以正常返回值,但是一旦进入except,再调用函数本身得到的返回值后没有接收,因此得到的返回值是None。

    week12任务:

    学习手机app的爬取

    相关文章

      网友评论

          本文标题:python学习—week12

          本文链接:https://www.haomeiwen.com/subject/puxbuqtx.html