custom_settings = {
# 采集 深度(链接跳转次数)
"DEPTH_LIMIT": 3,
# 是否开启 cookie false 不开启(默认) true 开启
'COOKIES_ENABLED':False,
# 下载延迟时间 1秒
'DOWNLOAD_DELAY': 1,
# 是否允许重定向 true 允许 false 不允许(默认)
"REDIRECT_ENABLED":True,
# 该配置会 实现一个spider对应一个日志文件
"LOG_FILE": f"log/{name}.log"
}
dont_filter true 不过滤 false 过滤(默认)
网友评论