1.首先是载入需要的库和创建数据库,如下图:
![](https://img.haomeiwen.com/i1706760/ea35164646d722af.png)
2.其次是要创建一个函数,该函数的功能是能够提取该网址的【北京手机号转让列表页的所有帖子的标题和链接,并存储在数据库中,代码如下图:
![](https://img.haomeiwen.com/i1706760/8e0b59a074a01d94.png)
注意点:
2.1 第2行:用for循环和range函数产生不同的列表页的页数
2.2 第6行:为了防止出现如下的列表页
![](https://img.haomeiwen.com/i1706760/c089c3837c79dd36.png)
用“下一页”来进行判断,如果列表页有“下一页”,则继续爬取,如果没有,则pass
![](https://img.haomeiwen.com/i1706760/2ccae96664d5f944.png)
页码标示
3.抓取存储在数据库shoujihao_list中的链接的详细信息(帖子创建日期,价格,区域,卖家),并将信息存入数据库shoujihao_detail中:
![](https://img.haomeiwen.com/i1706760/0896ce90199b4e30.png)
至此,就可以抓取58同城上手机号的信息了
网友评论