一、settings.py的作用

自定义所有Scrapy组件的行为，包括核心，扩展，管道和蜘蛛本身。

详见官方文档https://doc.scrapy.org/en/latest/topics/settings.html

二、单个spider的配置

在Spider中加入custom_settings = {……}即可，爬虫启动后会优先使用这里的配置文件，如图1所示。

三、setting.py的配置

1、DOWNLOAD_FAIL_ON_DATALOSS

详见https://doc.scrapy.org/en/latest/topics/settings.html#std:setting-DOWNLOAD_FAIL_ON_DATALOSS