美文网首页
Redis-常见持久化开发运维问题

Redis-常见持久化开发运维问题

作者: 薛之谦chj | 来源:发表于2020-04-23 23:55 被阅读0次

开发运维常见问题

fork操作

1.同步操作 :fork操作只是做一个内存页的拷贝,而不是完全作为一个内存的拷贝,所以大部分情况下速度都是非常快的,但是呢,如果说本身fork操作比较慢,或者说卡在某个地方了,那么就会阻塞redis的主线程

2.与内存量息息相关:内存越大,耗时越长(与机器类型有关 虚拟机和物理机 相对来说虚机较慢,物理机较快,但不是绝对的,是相对的,只是说和内存量有关和机型也有关系,本身是一个同步的操作,所以会引起一个问题,如果它非常慢,他执行了一秒,对于redis来说,就会卡住一秒,对于一个每秒执行QBS上万的操作,那么就会卡住一秒,也会造成客户端超时)

3.info:latest_fork_usec :如何看fork执行的时间,在redis中有一个info可以查持久化的时间,latest_fork_usec也就是说上一次所执行fork操作所消耗的微秒数。如果这个数比较大,会阻塞redis,如果需要对他重点关注呢,可以实行重点监测或者相对应的告警

改善fork

1.优先使用物理机或者高效支持fork操作的虚拟化技术

2.控制Redis实例最大可用内存 : maxmemory

3.合理配置Linux内存分配策略:vm.overcommit_memory = 1 (默认值为0,就是说,当它发现没有足够内存去做内存分配的时候,就不做内存分配,对于fork来说,会照成阻塞)

4.降低fork频率 : 例如放宽AOF重写自动触发时机,减少不必要的AOF的重写,不必要的全量复制



进程外开销:子进程开销与优化

1.CPU:

开销:RDB和AOF文件生成,属于CPU密集型(体现在文件的重写,就相当于RDB和AOF最终都要将内存中的数据存储到硬盘中,通常这个子进程的cpu开销达到90%以上,因为他的写入是一个非常集中的过程)

优化:不做CPU绑定,不和CPU密集型部署 (不要做CPU的一个绑定,也就是说不让把redis进程绑定在一个CPU上,这样的话,如果发生了这样的子进程的话,他会和主进程集中消耗这个CPU,会对主进程造成很大的影响,第二个呢,不要和CPU密集型应用一起部署,这样的话就会保证不会产生CPU的过度紧张,还有一个就是这里没有写的是,我们在单机多部署的时候,一定要保证不要发生大量的AOF重写或者说RDB的bgsave的过程,这样保证可以节省一定的CPU)

2.内存:

开销:fork内存开销, copy-on-write (内存的开销是非常明显的,因为他要生成一个子进程,是要通过fork来争的,占用内存是相当于等于主进程的,但是Linux有一个写时拷贝技术(copy-on-write) 机制,父子进程会共享内存页,但是当父进程写请求的时候,会创建一个副本,这个时候才会消耗内存,而在整个期间子进程会共享主内存的开张)

优化:echo never > /sys/kernel/mm/transparent_hugepage/enabled

3.硬盘

开销:AOF和RDB文件写入,可以结合iostat,iotop工具分析

硬盘优化:

1.不要和高硬盘负载服务部署一起: 存储服务,消息队列等

2. no-appendfsync-on-write  = yes

3.根据写入量决定磁盘类型 : 例如 ssd(固态硬盘)

4.单机多实例持久化文件目录可以考虑分盘或者说资源限制的操作



AOF追加阻塞

AOF阻塞定位

1.Redis日志 :查看日志

2.info persistence (信息的持久化)

3.通过硬盘去观察

相关文章

网友评论

      本文标题:Redis-常见持久化开发运维问题

      本文链接:https://www.haomeiwen.com/subject/puctwhtx.html