美文网首页redis
redis(三:日志二)

redis(三:日志二)

作者: supremecsp | 来源:发表于2022-10-30 11:34 被阅读0次

正因为AOF记录的是操作命令,而不是实际的数据,所以,用 AOF 方法进行故障恢复的时候,需要逐一把操作日志都执行一遍。而RDB(Redis DataBase)内存快照能在宕机时实现快速恢复。所谓内存快照,就是指内存中的数据在某一个时刻的状态记录。

和 AOF 相比,RDB 记录的是某一时刻的数据,并不是操作,所以,在做数据恢复时,我们可以直接把 RDB 文件读入内存,很快地完成恢复。全量数据越多,RDB 文件就越大,往磁盘上写数据的时间开销就越大。

Redis 提供了两个命令来生成 RDB 文件,分别是 save 和 bgsave。
1,save:在主线程中执行,会导致阻塞;
2,bgsave:创建一个子进程,专门用于写入 RDB 文件,避免了主线程的阻塞,这也是 Redis RDB 文件生成的默认配置。

我们就可以通过 bgsave 命令来执行全量快照,不会阻塞主线程。这既提供了数据的可靠性保证,也避免了对 Redis 的性能影响。

快照时数据能修改吗

此时,主线程的确没有阻塞,可以正常接收请求,但是,为了保证快照完整性,它只能处理读操作,因为不能修改正在执行快照的数据。
为了快照而暂停写操作,肯定是不能接受的。所以这个时候,Redis 就会借助操作系统提供的写时复制技术(Copy-On-Write, COW),在执行快照的同时,正常处理写操作

此时,如果主线程对这些数据也都是读操作(例如图中的键值对 A),那么,主线程和 bgsave 子进程相互不影响。但是,如果主线程要修改一块数据(例如图中的键值对 C),那么,这块数据就会被复制一份,生成该数据的副本(键值对 C’)。然后,主线程在这个数据副本上进行修改。同时,bgsave 子进程可以继续把原来的数据(键值对 C)写入 RDB 文件。



这既保证了快照的完整性,也允许主线程同时对数据进行修改,避免了对正常业务的影响。

快照频率
是不是可以每秒做一次快照?毕竟,每次快照都是由 bgsave 子进程在后台执行,也不会阻塞主线程。

如果频繁地执行全量快照,也会带来两方面的开销。
一方面,频繁将全量数据写入磁盘,会给磁盘带来很大压力,多个快照竞争有限的磁盘带宽,前一个快照还没有做完,后一个又开始做了,容易造成恶性循环。
另一方面,bgsave 子进程需要通过 fork 操作从主线程创建出来。虽然,子进程在创建后不会再阻塞主线程,但是,fork 这个创建过程本身会阻塞主线程,而且主线程的内存越大,阻塞时间越长。

增量快照
做了一次全量快照后,后续的快照只对修改的数据进行快照记录,这样可以避免每次全量快照的开销。
但是,这么做的前提是,我们需要记住哪些数据被修改了。你可不要小瞧这个“记住”功能,它需要我们使用额外的元数据信息去记录哪些数据被修改了,这会带来额外的空间开销问题。


虽然跟 AOF 相比,快照的恢复速度快,但是,快照的频率不好把握,如果频率太低,两次快照间一旦宕机,就可能有比较多的数据丢失。如果频率太高,又会产生额外开销

混合日志
Redis 4.0 中提出了一个混合使用 AOF 日志和内存快照的方法。简单来说,内存快照以一定的频率执行,在两次快照之间,使用 AOF 日志记录这期间的所有命令操作。
这样一来,快照不用很频繁地执行,这就避免了频繁 fork 对主线程的影响。而且,AOF 日志也只用记录两次快照间的操作,也就是说,不需要记录所有操作了,因此,就不会出现文件过大的情况了,也可以避免重写开销。
如下图所示,T1 和 T2 时刻的修改,用 AOF 日志记录,等到第二次做全量快照时,就可以清空 AOF 日志,因为此时的修改都已经记录到快照中了,恢复时就不再用日志了。

关于 AOF 和 RDB 的选择问题,有三点建议:
数据不能丢失时,内存快照和 AOF 的混合使用是一个很好的选择;
如果允许分钟级别的数据丢失,可以只使用 RDB;
如果只用 AOF,优先使用 everysec 的配置选项,因为它在可靠性和性能之间取了一个平衡。

RDB层面解释一个redis实例内存为何不宜过大?
RDB fork时会产生比较长时间阻塞。
RDB 进行持久化时,Redis 会 fork 子进程来完成,fork 操作的用时和 Redis 的数据量是正相关的,而 fork 在执行时会阻塞主线程。数据量越大,fork 操作造成的主线程阻塞的时间越长。

我们使用一个 2 核 CPU、4GB 内存、500GB 磁盘的云主机运行 Redis,Redis 数据库的数据量大小差不多是 2GB,我们使用了 RDB 做持久化保证。当时 Redis 的运行负载以修改操作为主,写读比例差不多在 8:2 左右,也就是说,如果有 100 个请求,80 个请求执行的是修改操作。你觉得,在这个场景下,用 RDB 做持久化有什么风险吗?你能帮着一起分析分析吗?
2核CPU、4GB内存、500G磁盘,Redis实例占用2GB,写读比例为8:2,此时做RDB持久化,产生的风险主要在于 CPU资源 和 内存资源 这2方面:
a、内存资源风险:Redis fork子进程做RDB持久化,由于写的比例为80%,那么在持久化过程中,“写实复制”会重新分配整个实例80%的内存副本,大约需要重新分配1.6GB内存空间,这样整个系统的内存使用接近饱和,如果此时父进程又有大量新key写入,很快机器内存就会被吃光,如果机器开启了Swap机制,那么Redis会有一部分数据被换到磁盘上,当Redis访问这部分在磁盘上的数据时,性能会急剧下降,已经达不到高性能的标准(可以理解为武功被废)。如果机器没有开启Swap,会直接触发OOM,父子进程会面临被系统kill掉的风险。
b、CPU资源风险:虽然子进程在做RDB持久化,但生成RDB快照过程会消耗大量的CPU资源,虽然Redis处理处理请求是单线程的,但Redis Server还有其他线程在后台工作,例如AOF每秒刷盘、异步关闭文件描述符这些操作。由于机器只有2核CPU,这也就意味着父进程占用了超过一半的CPU资源,此时子进程做RDB持久化,可能会产生CPU竞争,导致的结果就是父进程处理请求延迟增大,子进程生成RDB快照的时间也会变长,整个Redis Server性能下降。

分析问题时还可以考虑下其他影响:QPS较低,不会有什么问题,快照时间和频率。晚上和一天一次也未尝不可

摘抄:《Redis 核心技术与实战》-第5节

相关文章

  • python3 交互 redis

    示例一 示例二 - 封装工具类 示例三 - 循环写入redis数据,增加日志打印,获取当前keys数量

  • redis 学习(18)-- AOF

    redis -- AOF 什么是 AOF 通过日志方式将redis中的写命令进行日志记录,保存在硬盘文件中。 日志...

  • 2019-06-18 linux安装Redis集群

    linux安装Redis集群(三主三备) 2017-08-05 Redis是一个可基于内存亦可持久化的日志型(ao...

  • golang 创建redis队列/批量处理队列日志插入数据表

    用户登录后 日志记录先存储到redis列表 。 使用定时任务 将redis中到登录日志批量插入日志表 .env文件...

  • Kafka与Redis比较

    转一篇比较Kafa与Redis的文章,从日志聚合分析了二者的性能。 《Kafka vs. Redis: Log A...

  • redis的使用

    [TOC] 一、redis安装 windows: linux: 二、redis介绍 三、redis基本语法 1、查...

  • k8s-中间件部署-Redis

    一、下载Redis镜像[https://hub.docker.com/_/redis] 二、容器部署Redis 三...

  • NoSQL二--Redis

    目录 一、Redis介绍二、安装Redis三、Redis 持久化四、Redis 的数据类型五、Redis常用操作六...

  • yum安装redis

    yum安装redis 一.安装redis 如果提示找不到package,执行第二步 二.换源 三.redis操作 ...

  • redis启动关闭

    1. 启动redis服务 (1). 默认配置 日志会输出到终端,我们可以从日志中看到redis版本、监听的端口号、...

网友评论

    本文标题:redis(三:日志二)

    本文链接:https://www.haomeiwen.com/subject/mibktdtx.html