查看目标网页

http://quotes.toscrape.com 中的每个名言都由 HTML 元素表示，如下所示：

每个名言是以HTML元素表示.png

确定采集实体：

从上图可以看出，我们需要采集的实体有三个，分别是：标签（tags）、名人名言（text）和作者（author）

建立新项目：quotes

scrapy startproject quotes enter

查看一下创建的项目

创建项目.png

在items.py中定义自己要抓取的数据

items.py文件.png

检查我们的页面，我们可以看到链接到下一个页面的URL在下面的元素中： 链接到下一个页面.png

在shell中我们可以把它提取出来

提取下一页规则.png

编写myspider.py文件

myspider.py文件.png

现在，在提取数据之后，parse() 方法查找到下一页的链接，使用 urljoin() 方法构建一个完整的绝对 URL（因为链接可以是相对的），并生成（yield）一个到下一页的新的请求， 其中包括回调方法（parse）。

使用它，可以根据我们定义的规则构建复杂的跟踪链接机制，并根据访问页面提取不同类型的数据。

在上面的图片中，它创建一个循环，跟踪所有到下一页的链接，直到它找不到要抓取的站点分页。

运行命令 scrapy crawl quotes -o quotes.json

得到的部分数据如下

部分爬取结果展示.png

如何检查xpath/css定位是否正确

用scrapy shell进行调试

参考教程：http://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/shell.html

总结和感悟

在进行数据的采集任务中，采集的规则和方法是数据采集的核心。要对整个网站仔细地观察和研究，要非常细心并且有耐心。同时仍然需要对python进行更多和更深刻的练习，就比如在这次的学习中发现使用xpath可能比css更加快速准确。还要继续努力才能学好python。