美文网首页
Redis持久化

Redis持久化

作者: 柳蒿 | 来源:发表于2019-10-20 14:22 被阅读0次

    RBD(Redis DateBase)

    1. 自动备份:在指定的时间间隔内把数据快照写进磁盘
    2. 手动备份:
      save:阻塞其他所有的任务
      bgsave:后台进行save
    3. 手动停止RDB保存规则方法:redis-cli config set save ""

    redis-check-dump --fix filename.rdb:修复rdb文件

    备份策略:

    在一定的时间间隔内,如果修改的记录数超过某个值,就进行备份。默认是900秒内修改一条,300秒内修改10条或者60秒内修改10000条

    RBD其他自动触发机制

    1. 在主从复制场景下,如果从节点执行全量复制操作,则主节点会执行bgsave命令,并将rdb文件发送给从节点
    2. 执行shutdown命令时,自动执行rdb持久化

    备份策略原理

    Redis的save m n,是通过serverCron函数、dirty计数器、和lastsave时间戳来实现的。

    serverCron是Redis服务器的周期性操作函数,默认每隔100ms执行一次;该函数对服务器的状态进行维护,其中一项工作就是检查 save m n 配置的条件是否满足,如果满足就执行bgsave。

    dirty计数器是Redis服务器维持的一个状态,记录了上一次执行bgsave/save命令后,服务器状态进行了多少次修改(包括增删改);而当save/bgsave执行完成后,会将dirty重新置为0。

    例如,如果Redis执行了set mykey helloworld,则dirty值会+1;如果执行了sadd myset v1 v2 v3,则dirty值会+3;注意dirty记录的是服务器进行了多少次修改,而不是客户端执行了多少修改数据的命令。

    lastsave时间戳也是Redis服务器维持的一个状态,记录的是上一次成功执行save/bgsave的时间。

    save m n的原理如下:每隔100ms,执行serverCron函数;在serverCron函数中,遍历save m n配置的保存条件,只要有一个条件满足,就进行bgsave。对于每一个save m n条件,只有下面两条同时满足时才算满足:

    1. 当前时间-lastsave > m
    2. dirty >= n

    压缩:LZF压缩,会损耗一定的CPU性能,默认开启,建议开启
    校验:CRC64校验,会损耗一定的CPU性能,默认开启,建议开启。

    执行flushall会删除掉所有的记录,该情况满足自动备份条件,会立刻进行备份,但是备份的rdb文件为空

    RBD缺点:

    1. 每隔一定时间进行一次保存,如果redis意外宕机,则会丢失最后一次snapshot
    2. 备份时需要fork一份当前的数据,需要额外的空闲空间,还会导致在一些毫秒级不能相应客户端请求

    RBD优点

    1. RDB是一个非常紧凑的文件
    2. 备份时,只需要主进程fork一个子进程,接下来的任务都由子进程完成,可以最大化redis性能
    3. 与AOF相比,恢复大数据集的时候会更快一些。

    AOF(Append only File)

    记录Redis执行过的所有写操作,redis启动的时候会把aof文件中的所有命令从前到后执行一次,只允许追加文件。默认不使用

    redis-cli appendonly.aof:使用aof文件进行恢复
    redis-check-aof --fix filename.aof:修复aof文件命令。删除filename.aof文件中所有不符合aof语法的句子

    备份策略

    实时(always):保存每一条写命令,对性能要求高,不会有数据丢失。
    每秒(everysec):每秒保存一次写命令,如果redis服务器宕机,会有数据丢失。默认采取每秒(everysec)
    不追加(no):不保存写命令

    重写

    当AOF文件越来越大到一定阈值的时候,redis会采取重写策略,将内容压缩。
    AOF rewrite操作就是“压缩”AOF文件的过程,当然redis并没有采用“基于原aof文件”来重写的方式,而是采取了类似snapshot的方式:基于copy-on-write,全量遍历内存中数据,然后逐个序列到aof文件中。因此AOF rewrite能够正确反应当前内存数据的状态,这正是我们所需要的;
    rewrite过程中,新的变更操作将仍然被写入到原AOF文件中,同时这些新的变更操作也会被redis收集起来(buffer,copy-on-write方式下,最极端的可能是所有的key都在此期间被修改,将会耗费2倍内存),当内存数据被全部写入到新的aof文件之后,原aof文件中收集的新的变更操作也将会一并追加到新的aof文件中,然后把新的aof文件重命名为appendonly.aof,此后所有的操作都将被写入新的aof文件。
    如果在rewrite过程中出现故障,将不会影响原AOF文件的正常工作,只有当rewrite完成之后才会切换文件,因此rewrite过程是比较可靠的

    AOF缺点**

    1. 恢复相同大小的数据,AOF文件远大于RDB,运行效率也低于RBD
    2. aof文件rewrite操作,把数据压缩写到新的文件中的时候会导致几乎无法避免的阻塞。

    AOF优点

    1. aof文件可读性好
    2. 数据完整新好,最坏只会丢失2s的数据

    RBD和AOF

    • redis启动的时候自动从rbd或aof文件中恢复数据。
    • RBD和AOF两种恢复机制可以共存。两者共存时,redis启动时优先使用AOF恢复数据,如果AOF文件中出现错误,则无法启动redis
    • RBD只作后备用途,建议在Slave上使用RDB策略,且只需要15分钟保存一次。
    • 启用AOF,好处是最坏情况下也只损失2秒的数据。但是会带来新的问题
      1. aof文件rewrite操作,把数据压缩写入新的文件中的时候会导致几乎无法避免的阻塞。
      2. 导致持续的IO
    • 如果不用AOF,只在主从模式下启用RBD,也可以实现高可用。只是当主从服务器同时挂掉的时候会损失15分钟的数据,而且恢复数据时需要比较主从服务器上的数据,选择其中较新的来恢复

    相关文章

      网友评论

          本文标题:Redis持久化

          本文链接:https://www.haomeiwen.com/subject/svvomctx.html