安装scrapy:

pip3 install -i https://pypi.douban.com/simple/   scrapy

创建scrapy项目：

>>>scrapy startproject ArticleCrawler(工程名)

用编译器打开项目，可以看到项目结构和配置文件如下图所示：

cfg配置文件信息

其中，setting.py是项目的配置文件，pipelines.py是管理数据存储的，items.py类似django中的form,文件夹中的spiders中用于存放爬虫脚本。注意打开settings.py设置是否遵循robots协议。

settings.py

创建爬虫脚本：

打开项目根目录下，运行以下命令来创建一个爬虫脚本：

>>>scrapy genspider jobbole(爬虫名)   blog.jobble.com(目标网站地址)

脚本文件

然后会发现spiders文件夹下出现来一个新的jobbole.py爬虫脚本。其中start_urls中存放的就是所有需要爬取的URL.

创建调试脚本：

在项目根目录下创建一个用于调试的脚本main.py,这个脚本用于模拟在命令行执行命令。然后在文件中输入以下内容：

调试脚本

运行以上脚本等价于在项目根目录下打开命令行运行以下命令：

>>>scrapy crawl jobbole(爬虫名，即对应的爬虫脚本下name = []中的名字)

如果在windows 下报错"ImportError: No module named 'win32api'",则需要先输入以下命令安装一个依赖包：

>>>pip3 install pypiwin32

编写爬虫脚本：

编写爬虫需要用到一些Xpath相关的语法知识，如果不了解Xpath语法的可以参考这篇文章【点我】。

打开项目spider目录下的jobbole脚本，注意其中response 参数是自带 xpath方法的。

spider脚本

Scrapy的shell模式：

打开终端执行以下命令：

>>>scrapy shell URL

在此模式下可以调试分析页面

调试页面

之后执行以下语句可以得到title元素中data的内容

>>>title.extract()

如果访问URL时需要添加headers可以写如下代码：

>>>scrapy shell -s USER_AGENT=""  URL

scrapy也可以通过css选择器来使用

>>>title = response.css('.entry-header')

css里的::text 等价于xpath里的text()

“::text的用法”

编写spider脚本获取列表文章：

打开spiders文件夹下的脚本文件，引入Request类，这个类的作用是通过一个回调函数调参数将爬虫获取的URL传入另一个函数中。

脚本文件

Request()中还有一个参数meta={},用于传递其它数据到回调函数

meta参数的使用

这样就可以在对应到回调函数parse_detail里获取meta里到数据了，

img_url = response.meta.get("front_image_url","") 

配置items文件：

打开items.py文件， 将所有需要获取的字段定义到一个class中，如下图：

定义items

回到脚本文件中，将定义的items引入文件，并创建一个items实例，将对应的数据填充进去，然后通过yield传递到pipelines.py中进行下一步操作。

脚本文件引入items

配置pipelines.py文件：

先打开settings.py文件激活相应的语句。

如果要自动下载图片，可以添加几行,程序便会在 ittems中找到“front_image_url”字段.注意，这里的"front_image_url"是items对象的一个字段。

settings.py

再添加下面几行，则可以设置图片存放路径

设置图片存放路径

运行前，通过pip install pillow安装一下PIL库.

settings.py中设置这两句用于过滤小图片

过滤图片设置

重写pipeline:

可以将上面的类重写到pipelines.py文件中，如下：

pipeline

在 settings.py中用重写到类替换调原本的类：

settings.py

再一次添加pipeline中的内容：

pipeline

将数据保存到本地JSON文件或者Mysql当中：

写入JSON文件

在pipeline中再写一个管道用于将数据存放到json中，代码如下：

pipeline.py

然后在settings.py中进行相应的配置

配置settings.py

另外，我们也可以利用scrapy自带的类来进行json文件的导出：

pipelines.py

然后在settings.py文件中做相同的配置

写入Mysql

先在Mysql中根据数据结构建立相应的数据表,然后在pipelines.py中写入对应的pipeline配置，并在settings.py中配置好。

pipeline.py

Mysql优化方案---连接池：

为了让Mysql的执行的任务变成异步任务，这里引入一个连接池组件

在 settings.py中配置好mysql的信息

MYSQL配置信息 异步数据库

Item loader机制的使用：

在spider脚本中引入item loader

引入模块 配置item_loader