美文网首页
关于scrapy-redis日志被打印两次的问题

关于scrapy-redis日志被打印两次的问题

作者: sexy_cyber | 来源:发表于2023-09-21 17:16 被阅读0次

开发环境是Macos M2

问题一、

  • 好久没更新版本了,更新版本后(开发环境也换了),发现一个奇怪的原先的配置啥也没动以前跑的好好的,现在同一条日志总是被打印两次,很奇怪

  • 网上找了很多方案,最终通过配置settings文件的一个参数解决:

# 防止日志被重复打印两次
LOG_ENABLED = False
  • 这个方式很管用,配置后,就只打印一条了;

  • 过了大概两个月后,我再次用开发环境跑测试,发现什么日志也没有打印,折腾半小时,排查各种问题,网络数据库之类的,代码也没毛病,常识把上面关闭日志的配置给注释了,哎,好了!这真是怪了,而且也不再打印两次日志了,更怪了;

  • 所以到底发生了什么导致我两个月前日志被打印两次,但是2个月后自己就好了?

问题二、

  • 日志会莫名打印大量debug信息,请求的响应体等信息都会默认被打印,这个也是以前没有遇到的,很怪,也没配置啥,代码也是符合规范的,就是疯狂打印各种debug信息,尝试了各种方案,都不行,就这样搁置了2月;
# 在settings配置文件中尝试的配置方案,无法生效起作用
# 禁用 scrapy-redis 的日志设置
REDIS_LOG_ENABLED = False
LOG_LEVEL = "WARNING"
LOG_STDOUT = False
LOG_ENCODING = False
  • 2月后再回来,发现自己好了,不打印大量debug信息了, 恢复正常了,但是我什么也没做,到底是发生了什么?

所以问题1、2 为哈会莫名其妙的出现,又为啥会莫名其妙的消失?

相关文章

网友评论

      本文标题:关于scrapy-redis日志被打印两次的问题

      本文链接:https://www.haomeiwen.com/subject/piezvdtx.html