课时20 爬取大规模数据的工作流分析

第一步， 观察页面特征
第二步 ， 设计工作流程

1.jpg

抓取 url，选择 好selector

1.jpg 1.jpg 1.jpg

设置页面爬取 代码， 第一步创建 数据库连接。

1.jpg

目标 要的url

http://bj.58.com/diannao/0/pn2/

1.jpg

完整的 情况

1.jpg 1.jpg

然后 插入数据库

url_list.insert_one({'url': item_link})

本地 pythcarm mongodb 插件 查看 配置

1.jpg

由于 具体的 内容 页面里面有些 还是不能正常访问，那么我们就要做一个判断。 正常的那个页面是有td 标签的。

1.jpg

下一步 我们设计spider2

1.jpg

插入数据到 数据库中

1.jpg 1.jpg 1.jpg