美文网首页
scrapy-redis 内存不够用 处理方法

scrapy-redis 内存不够用 处理方法

作者: 隐墨留白 | 来源:发表于2022-09-01 10:55 被阅读0次

scrapy-redis 报错

redis.exceptions.ResponseError: Command # 2 (ZREMRANGEBYRANK xxxxxx:requests 0 0) of pipeline caused error: 
MISCONF Redis is configured to save RDB snapshots, but it is currently not able to persist on disk. Commands 
that may modify the data set are disabled, because this instance is configured to report errors during writes 
if RDB snapshotting fails (stop-writes-on-bgsave-error option). Please check the Redis logs for details about the RDB error.

window 处理

找到redis的安装目录, 打开redis.windows.conf

# 添加
maxmemory 4G
# 将 yes 改为 no
stop-writes-on-bgsave-error no

保存文件, 一定要记得保存
然后重启redis

# 关闭redis
net stop redis
# 开启redis 
net start redis

linux 处理

修改redis.conf文件
查看redis 状态:

systemctl status redis

启动redis

systemctl start redis

重启redis

systemctl restart redis.service
# 或者
service redis restart

相关文章

  • scrapy-redis 内存不够用 处理方法

    scrapy-redis 报错 window 处理 找到redis的安装目录, 打开redis.windows.c...

  • SDWebImage常用方法

    1、常用的方法 2、内存处理,当app收到内存警告时

  • 布隆过滤器

    scrapy-redis占用内存,目前两千万的redis去重队列+mongodb的缓存,15g的内存有点坚持不住了...

  • 学会清空内心

    内存满了手机空间不够用,运转速度会变慢,所以我们要时不时地进行垃圾处理,清空内存,来保证手机的正常使用。 ...

  • 学会清空内心 - 草稿

    内存满了手机空间不够用,运转速度会变慢,所以我们要时不时地进行垃圾处理,清空内存,来保证手机的正常使用。 ...

  • 学会清空内心

    内存满了手机空间不够用,运转速度会变慢,所以我们要时不时地进行垃圾处理,清空内存,来保证手机的正常使用。 ...

  • 内存设置

    MySQL,Redis,将数据存入内存或者MySQL中,需要多少内存。 库存信息存内存。 大流量的处理方法:...

  • building for production...Killed

    按照他人的说法是,服务器内存不够用了,这样就给他配置一个单独的内存出来就解决了 解决方法:

  • 11- Scrapy-Redis分布式

    Scrapy和Scrapy-Redis的区别 安装Scrapy-Redis Scrapy-Redis介绍 提供了下...

  • 减小dataframe占用内存

    Kaggle比赛中常用在做分析时,处理近2G的一个CSV文件,10G内存的机器感觉内存不够用,找到了这个函数,效果...

网友评论

      本文标题:scrapy-redis 内存不够用 处理方法

      本文链接:https://www.haomeiwen.com/subject/owbenrtx.html