10.scrapy的高级特性

暂停与重启功能建议在命令行下进行使用，而不是选择在pycharm运行

在项目下，新建文件夹xxx-info/001，这个文件夹是用来保存scrapy运行和暂停的中间状态数据的

开启爬虫

scrapy crawl myspider -s MYDIR=xxx-info/001

暂停爬虫：按一次ctrl+c。如果按两次就是强制关闭爬虫。

重启，与上面同样的命令

scrapy crawl myspider -s MYDIR=xxx-info/001

注意：

• 不同的spider使用不同的目录
• 如果想重爬，需要重新名一个文件夹，例如xxx-info/002

待更新...