爬虫框架是很好用的，它可以很好地帮助我们完成爬虫，也更加省力。
Scrapy是由执行的核心引擎(engine)控制，流程是这样的：
1、爬虫引擎ENGINE获得初始请求开始抓取。
2、爬虫引擎ENGINE开始请求调度程序SCHEDULER，并准备对下一次的请求进行抓取。
3、爬虫调度器返回下一个请求给爬虫引擎。
4、引擎请求发送到下载器DOWNLOADER，通过下载中间件下载网络数据。
5、一旦下载器完成页面下载，将下载结果返回给爬虫引擎ENGINE。
6、爬虫引擎ENGINE将下载器DOWNLOADER的响应通过中间件MIDDLEWARES返回给爬虫SPIDERS进行处理。
7、爬虫SPIDERS处理响应，并通过中间件MIDDLEWARES返回处理后的items，以及新的请求给引擎。
8、引擎发送处理后的items到项目管道，然后把处理结果返回给调度器SCHEDULER，调度器计划处理下一个请求抓取。
9、重复该过程（继续步骤1），直到爬取完所有的url请求。
首先要先安装scrapy
pip install scrapy 一般会报错的，所以需要先安装一个 twisted
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 找到对应版本下载下来，安装一下
在重新安装scrapy就可以正常安装了
先创建一个scrapy项目
scrapy startproject 项目名称
然后 cd 项目名称
开始创建爬虫
scrapy genspider country 域名 --template=crawl --后面的是继承那个类，也可以不写，域名可以先随意写，用的时候再修改
我们以这个网页为例：https://www.qidian.com/free/all?chanId=21
将域名和爬取的网页url填入
1-1
我们以这个网页的页码为主
发现了这个页码url的规律，url中都有/free/ ,我们先匹配一下这个
1-2
然后将我们发现的规律填入，这个就是页面的匹配规则
1-3
callback表示运行完这一步会调到parse_item的方法继续运行，follow=True表示会在新的url中继续寻找符合规则的url继续爬取
下一步我们就把这个url保存起来，需要在items.py中定义一个变量来保存我们的数据
1-4
然后就可以用这个变量接受我们的数据了，我们这里匹配页面数据的方法也可以用xpath
1-5
现在运行一下我们的爬虫 ，cd到我们的项目文件夹，scrapy crawl 爬虫名称。
运行会发现我们的数据已经获取到了
1-6
密密麻麻的，因为我没有设置日志的优先级，有兴趣的可以自行设置。
可以看到我们获取的数据中出来了许多我们不想要的数据，这个要注意了，因为我们的的url匹配规则中/free/在页面中有很多，这个匹配的时候就选好匹配规则了。
在这里不做处理，下面开始说保存部分。
数据的持久化保存需要我们在创建的项目中pipelines.py中保存，因为图片1-5中的retrue会把数据传到pipelines中，因为要使用pipliens，需要在settings中配置相关的配置选项
1-6
找到这个配置将注释打开即可。然后我们在piplines中写一个比较明显的查看测试代码。
1-7
然后运行一下。发现我们写的“----------------------------”已经可以输出了，就说明我们的数据已经可以进行传过来了。
1-8
这时我们就可以在piplines写保存数据的代码了，文本或者数据库。
那么如果我们不需要一次爬取那么多，而只需要其中一部分数据呢？
我们可以自己写爬虫部分。类继承spider
2-1
我们的start_urls可以注释掉了，因为我们重写的Spider中的方法可以帮我们访问页面
2-2
后续操作都和前面部分的一样。下面是项目爬虫中的代码。
# -*- coding: utf-8 -*-
import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule, Spider
from ..items import JiangjieItem
class CountrySpider(Spider):
name ='country'
allowed_domains = ['www.qidian.com']
def start_requests(self):
url ="https://www.qidian.com/free/all?chanId=21&orderId" \
"=&vip=hidden&style=1&pageSize=20&siteid=1&pubflag=0&hiddenField=1&page={0}"
for i in range(1,11):
url1 = url.format(i)
yield scrapy.Request(url1,callback=self.parse_item)
def parse_item(self, response):
i = JiangjieItem()
#i['domain_id'] = response.xpath('//input[@id="sid"]/@value').extract()
#i['name'] = response.xpath('//div[@id="name"]').extract()
#i['description'] = response.xpath('//div[@id="description"]').extract()
i["url"] = response.url
print(i["url"],"================================")
return i
在这里也说一下如何实现单线程爬虫的暂停和停止？就是在启动爬虫时添加
-s JOBDIR=生成记录文件的路径
scrapy crawl country -s JOBDIR=生成记录文件的路径
这样就会在爬虫项目中生成一个记录爬取状态的文件，下次重新启动之后就会继续上次暂停的地方的开始爬取，不要强行停止，强行停止是无法继续爬取的。
如果想要在不同处理函数中获取数据，在yield的时候加一个参数
i = TaobaoItem()
i["url"] = response.url
yield scrapy.Request(i["url"],meta={'i': i},callback=self.parse_item1,dont_filter=True)
在下一个处理函数中
i = response.meta["i"]
i["name"] ="#" *30
就可以将将两个函数中的数据整合到一块的了
网友评论