美文网首页玩耍PythonPython 运维
重构人人贷爬虫程序(released)

重构人人贷爬虫程序(released)

作者: 科斯莫耗子 | 来源:发表于2016-07-21 20:25 被阅读533次

    重构已经完成并发布,在原项目地址,有空之后再写新版本的说明


    之前曾经写过一个爬取人人贷交易数据的爬虫,主要用到了urllib2包进行请求,通过re包正则表达式进行提取数据,考虑到需要登陆进行爬取时,urllib2 不如requests 更稳定,同时较为复杂的正则表达式效率较低,准备通过requests包和bs4 进行重构,特开贴记录重构过程中的问题和思考。

    原项目地址:View on Github

    TODO

    • 重构urllib2 模块
    • 重构re 模块
    • 兼容 Python 2 / 3

    相关文章

      网友评论

        本文标题:重构人人贷爬虫程序(released)

        本文链接:https://www.haomeiwen.com/subject/scnbjttx.html