1.首先是载入需要的库和创建数据库,如下图:
第一步2.其次是要创建一个函数,该函数的功能是能够提取该网址的【北京手机号转让列表页的所有帖子的标题和链接,并存储在数据库中,代码如下图:
第二步注意点:
2.1 第2行:用for循环和range函数产生不同的列表页的页数
2.2 第6行:为了防止出现如下的列表页
空白页,即没有所需数据的页面用“下一页”来进行判断,如果列表页有“下一页”,则继续爬取,如果没有,则pass
页码标示
3.抓取存储在数据库shoujihao_list中的链接的详细信息(帖子创建日期,价格,区域,卖家),并将信息存入数据库shoujihao_detail中:
第三步至此,就可以抓取58同城上手机号的信息了
网友评论