美文网首页
Scrapy 配置记录

Scrapy 配置记录

作者: 隐墨留白 | 来源:发表于2022-09-27 11:17 被阅读0次
    custom_settings = {
        # 采集 深度(链接跳转次数)
        "DEPTH_LIMIT": 3, 
        # 是否开启 cookie    false 不开启(默认)   true  开启  
        'COOKIES_ENABLED':False, 
        # 下载延迟时间  1秒
        'DOWNLOAD_DELAY': 1, 
        # 是否允许重定向  true  允许   false  不允许(默认)
        "REDIRECT_ENABLED":True,
        #  该配置会 实现一个spider对应一个日志文件
        "LOG_FILE": f"log/{name}.log"
    }
    
    
    dont_filter     true   不过滤       false   过滤(默认)

    相关文章

      网友评论

          本文标题:Scrapy 配置记录

          本文链接:https://www.haomeiwen.com/subject/mnhcartx.html