美文网首页
python实战-:爬取手机号

python实战-:爬取手机号

作者: 鸣人吃土豆 | 来源:发表于2016-05-15 17:58 被阅读587次

    1.首先是载入需要的库和创建数据库,如下图:

    第一步

    2.其次是要创建一个函数,该函数的功能是能够提取该网址的【北京手机号转让列表页的所有帖子的标题和链接,并存储在数据库中,代码如下图:

    第二步

    注意点:

    2.1  第2行:用for循环和range函数产生不同的列表页的页数

    2.2  第6行:为了防止出现如下的列表页

    空白页,即没有所需数据的页面

    用“下一页”来进行判断,如果列表页有“下一页”,则继续爬取,如果没有,则pass


    页码标示

    3.抓取存储在数据库shoujihao_list中的链接的详细信息(帖子创建日期,价格,区域,卖家),并将信息存入数据库shoujihao_detail中:

    第三步

    至此,就可以抓取58同城上手机号的信息了

    相关文章

      网友评论

          本文标题:python实战-:爬取手机号

          本文链接:https://www.haomeiwen.com/subject/mhivrttx.html