Redis持久化

1 Redis持久化简介

redis是一个内存数据库，数据保存在内存中，但是我们都知道内存的数据变化是很快的，也容易发生丢失。幸好Redis还为我们提供了持久化的机制，分别是RDB(Redis DataBase)和AOF(Append Only File)。

2 RDB持久化

RDB其实就是把数据以快照的形式保存在磁盘上。什么是快照呢，你可以理解成把当前时刻的数据拍成一张照片保存下来。将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。

RDB提供了三种机制：save、bgsave、自动化，来生成RDB文件。

2.1 save触发方式

该命令会阻塞当前Redis服务器，执行save命令期间，Redis不能处理其他命令，直到RDB过程完成为止。具体流程如下：

执行完成时候如果存在老的RDB文件，就把新的替代掉旧的。在内存数据较大的情况下，这种方式可能导致服务不可用。

2.2 bgsave触发方式

执行该命令时，Redis会在后台异步进行快照操作，快照同时还可以响应客户端请求。具体流程如下：

具体操作是Redis进程执行fork操作创建子进程，RDB持久化过程由子进程负责，完成后自动结束。阻塞只发生在fork阶段，一般时间很短。基本上 Redis 内部所有的RDB操作都是采用 bgsave 命令。

注意：

Redis在执行bgsave命令时，为了防止产生竞争条件，会拒绝执行save，bgsave命令，对应bgrewriteaof命令则会推迟处理。而在执行bgrewriteaof命令期间，会拒绝bgsave命令。

2.3 自动触发

自动触发是由我们的配置文件来完成的。在redis.conf配置文件中，里面有如下配置，我们可以去设置：

1 save：这里是用来配置触发 Redis的 RDB 持久化条件，也就是什么时候将内存中的数据保存到硬盘。比如“save m n”。表示m秒内数据集存在n次修改时，自动触发bgsave。不需要持久化，那么你可以注释掉所有的 save 行来停用保存功能。

2 stop-writes-on-bgsave-error ：默认值为yes。当启用了RDB且最后一次后台保存数据失败，Redis是否停止接收数据。这会让用户意识到数据没有正确持久化到磁盘上，否则没有人会注意到灾难（disaster）发生了。如果Redis重启了，那么又可以重新开始接收数据了

3 rdbcompression ；默认值是yes。对于存储到磁盘中的快照，可以设置是否进行压缩存储。

4 rdbchecksum ：默认值是yes。在存储快照后，我们还可以让redis使用CRC64算法来进行数据校验，但是这样做会增加大约10%的性能消耗，如果希望获取到最大的性能提升，可以关闭此功能。

5 dbfilename ：设置快照的文件名，默认是 dump.rdb

6 dir：设置快照文件的存放路径，这个配置项一定是个目录，而不能是文件名。

我们可以修改这些配置来实现我们想要的效果。因为第三种方式是配置的，所以我们对前两种进行一个对比：

2.4、RDB 的优势和劣势

1 优势

• RDB文件紧凑，全量备份，非常适合用于进行备份和灾难恢复。

• 生成RDB文件的时候，redis主进程会fork()一个子进程来处理所有保存工作，主进程不需要进行任何磁盘IO操作。

• RDB 在恢复大数据集时的速度比 AOF 的恢复速度要快。

2 劣势

• RDB快照是一次全量备份，存储的是内存数据的二进制序列化形式，存储上非常紧凑。当进行快照持久化时，会开启一个子进程专门负责快照持久化，子进程（采用COW技术）会拥有父进程的内存数据，父进程修改内存子进程不会反应出来，所以在快照持久化期间修改的数据不会被保存，可能丢失数据。

3 AOF机制

全量备份总是耗时的，有时候我们提供一种更加高效的方式AOF，工作机制很简单，redis会将每一个收到的写命令都通过write函数追加到文件中。通俗的理解就是日志记录。

3.1 持久化原理

AOF的原理看下面这张图：

每当有一个写命令过来时，就直接保存在我们的AOF文件中。

3.2、文件重写原理

随着服务器的运行，执行过的写命令越来越多，AOF文件也会越来越大。Redis提供了AOF文件重写功能，通过对读取当前的服务器状态生成需要的写命令，写入到一个新的AOF文件，然后替换旧的AOF文件。

注意事项： Redis通过REDIS_AOF_REWRITE_ITEMS_PER_CMD常量来控制每次重新命令的大小，这也就是说，一个写命令最多包含REDIS_AOF_REWRITE_ITEMS_PER_CMD个元素。如果一个集合键包含了超过64个元素，那么重写程序会用多条SADD命令来记录这个集合。

3.3 AOF后台重写

AOF重写命令aof_rewrite函数可以很好地完成创建一个新AOF文件的任务，但是，因为这个函数会进行大量的写入操作，所以调用这个函数的线程将被长时间阻塞，因为Redis服务器使用单个线程来处理命令请求，所以如果由服务器直接调用aof_rewrite函数的话，那么在重写AOF文件期间，服务期将无法处理客户端发来的命令请求。所以可以使用BGREWRITEAOF命令在后台进行aof文件重写。Redis会fork一个子进程对aof文件进行重写，父进程可以继续处理客户端的请求，当父进程执行写命令时，会对数据所在的内存页进行拷贝，修改的就是内存页的副本，不影响子进程的写入。在写入期间，当Redis服务器接收到写命令后，会进行如下操作：

1. 执行客户端发来的命令。

2. 将执行后的写命令追加到AOF缓冲区。（以防aof重写失败后，不影响旧的aof文件）。

3. 将执行后的写命令追加到AOF重写缓冲区。（便于aof重写成功后，将重写期间执行的写命令添加到新的aof文件）。

当子进程完成AOF重写工作之后，它会向父进程发送一个信号，父进程在接到该信号之后，会调用一个信号处理函数，并执行以下工作：

1. 将AOF重写缓冲区中的所有内容写入到新AOF文件中，这时新AOF文件所保存的数据库状态将和服务器当前的数据库状态一致。

2. 对新的AOF文件进行改名，原子地（atomic）覆盖现有的AOF文件，完成新旧两个AOF文件的替换。 这个信号处理函数执行完毕之后，父进程就可以继续像往常一样接受命令请求了。

3.4 AOF三种机制

• 每修改同步always：同步持久化 每次发生数据变更会被立即记录到磁盘 性能较差但数据完整性比较好。

• 每秒同步everysec：异步操作，每秒记录 如果一秒内宕机，有数据丢失。

• 不同no：从不同步，完全有操作系统觉得什么时候将缓存数据同步到磁盘。

3.5 AOF后台重写触发的条件

• AOF重写可以由用户通过调用BGREWRITEAOF手动触发。

• 服务器在AOF功能开启的情况下，会维持以下三个变量：

  • 记录当前AOF文件大小的变量aof_current_size。
  • 记录最后一次AOF重写之后，AOF文件大小的变量aof_rewrite_base_size。
  • 增长百分比变量aof_rewrite_perc。

• 每次当serverCron（服务器周期性操作函数）函数执行时，它会检查以下条件是否全部满足，如果全部满足的话，就触发自动的AOF重写操作：

  • 没有BGSAVE命令（RDB持久化）/AOF持久化在执行；
  • 没有BGREWRITEAOF在进行；
  • 当前AOF文件大小要大于server.aof_rewrite_min_size（默认为1MB），或者在redis.conf配置了auto-aof-rewrite-min-size大小；
  • 当前AOF文件大小和最后一次重写后的大小之间的比率等于或者等于指定的增长百分比（在配置文件设置了auto-aof-rewrite-percentage参数，不设置默认为100%）

如果前面三个条件都满足，并且当前AOF文件大小比最后一次AOF重写时的大小要大于指定的百分比，那么触发自动AOF重写。

3.6 AOF的优缺点

优点

• AOF可以更好的保护数据不丢失，一般AOF会每隔1秒，通过一个后台线程执行一次fsync操作，最多丢失1秒钟的数据。AOF日志文件没有任何磁盘寻址的开销，写入性能非常高，文件不容易破损。

• AOF日志文件即使过大的时候，出现后台重写操作，也不会影响客户端的读写。

• AOF日志文件的命令通过非常可读的方式进行记录，这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用flushall命令清空了所有数据，只要这个时候后台rewrite还没有发生，那么就可以立即拷贝AOF文件，将最后一条flushall命令给删了，然后再将该AOF文件放回去，就可以通过恢复机制，自动恢复所有数据

缺点

• 对于同一份数据来说，AOF日志文件通常比RDB数据快照文件更大

• AOF开启后，支持的写QPS会比RDB支持的写QPS低，因为AOF一般会配置成每秒fsync一次日志文件，当然，每秒一次fsync，性能也还是很高的

• 以前AOF发生过bug，就是通过AOF记录的日志，进行数据恢复的时候，没有恢复一模一样的数据出来。

4 RDB和AOF到底该如何选择

详解Redis中两种持久化机制RDB和AOF（面试常问，工作常用）