使用Scrapy爬取图片入库,并保存在本地

1.首先用命令创建一个爬虫项目(结合上篇博客),并到你的项目里如图所示

2.先到你的settings.py中配置 ,这里需要注意要 爬图(配置一个爬图管道 ImagesPipeline 为系统中下载图片的管道),

同时还有存图地址(在项目中创建一个为images的文件夹),

存图有多种方式,本人只是列举其中一种,大家可采取不同的方法

3.然后打开你的爬虫文件(即:car.py)开始编写你要爬取的数据,这里需要注意，要将start_urls[] 改为我们要爬取的Url 地址，然后根据xpath爬取图片

（这里代码得自己写，不要复制)

4.爬取的字段要跟   items.py里的一致

5.在命令行输入启动爬虫命令 scrapy crawl car  运行就能看到爬到图片存放在本地如下

6.最后入库,看你要入那个库,这里可入mysql和mongdb

mysql:  需提前创好库以及表,表中字段

mongdb:   不用提前建好库,表

7.运行 启动爬虫命令 scrapy crawl car 就可在库中看到数据.