scrapy进阶开发（二）：暂停与重启
# 进入虚拟环境
workon ${YOUR_VIRTUAL_ENV}
# 进入爬虫目录
cd ${YOUR_SPIDER_HOME}
# 爬虫启动命令
srapy crawl spider lagou -s JOBDIR=${STATE_SAVE_PATH}
# 暂停 ctrl+c
# 重启 srapy crawl spider lagou -s JOBDIR=${STATE_SAVE_PATH}
# spider项目里自定义配置
custom_settings={
JOBDIR : ${STATE_SAVE_PATH}
}
...
# 命令行正常启动
srapy crawl spider lagou
...
| 文件名 |
类型 |
用处 |
| request.seen |
文件 |
已经访问过的url |
| spider.state |
文件 |
spider的状态信息 |
| requests.queue |
文件夹 |
request队列 |
| requests.queue/p0 |
文件 |
需要继续做完的request |
-
注意
- JOBDIR目录下保存中间态信息
- 不同的spider不能共用同一个目录
- 不同的run不能共用同一个目录
- 不能用
kill -9 main.py 命令强制结束爬虫
- 正常退出使用
ctrl+c（只能按一次，按完需要一段时间处理中间状态）
本文标题：scrapy进阶开发（二）：暂停与重启
本文链接：https://www.haomeiwen.com/subject/angnxftx.html
网友评论