Redis内存消耗

Redis内存使用统计

命令

info memory

重点关注的指标有：used_memory_rss和used_memory以及它们的比值mem_fragmentation_ratio。

当 mem_fragmentation_ratio > 1 时，说明used_memory_rss - used_memory多出的部分内存并没有用于数据存储，而是被内存碎片所消耗，如果两者相差很大，说明碎片率严重。

当 mem_fragmentation_ratio < 1 时，这种情况一般出现在操作系统把Redis内存交换到（Swap）到硬盘导致，出现这种情况时要格外关注，由于硬盘速度远远慢于内存，Redis性能会变得很差，甚至僵死。

内存消耗划分

Redis进程内消耗主要包括：自身内存+对象内存+缓冲内存+内存碎片。

1. 对象内存

对象内存是Redis内存占用最大的一块，存储着用户所有的数据。Redis所有数据都采用key-value数据类型，每次创建键值对时，至少创建两个类型对象：key对象和value对象。内存消耗可以简单的理解为sizeof(keys)+sizeof(values)。键对象都是字符串，在使用Redis时很容易忽略键对内存消耗的影响，应当避免使用过长的键。value对象更复杂些，主要包括5种基本数据类型：字符串、列表、哈希、集合、有序集合。每种value对象类型根据使用规模不同，占用内存不同。在使用时一定要合理预估并监控value对象占用情况，避免内存溢出。

2. 缓冲内存

缓冲内存主要包括：客户端缓冲、复制积压缓冲区、AOF缓冲区。

• 客户端缓冲指的是所有接入到Redis服务器TCP连接的输入输出缓冲。输入输出缓冲无法控制，最大空间为1G，如果超过将断开连接。输入缓冲通过参数client-output-buffer-limit控制：
  1.普通客户端：除了复制和订阅的客户端之外的所有连接，Redis的默认配置是：client-output-buffer-limit normal 0 0 0，Redis并没有对普通客户端的输出缓冲区做限制，一般普通客户端的内存消耗可以忽略不计，但是当有大量慢连接客户端接入时这部分内存消耗就不能忽略了，可以设置maxclients做限制。注意不要只用大量数据输出的命令且数据无法及时推送给客户端，如 monitor命令，容易造成Redis服务器内存突然飙升。
  2. 从客户端：主节点会为每个从节点单独建立一条连接用于命令复制，默认配置是：client-output-buffer-limit slave 256mb 64mb 60。当主从节点之间网络延迟较高或主节点挂载大量从节点时这部分内存消耗将占用很大一部分，建议主节点挂载的从节点不要多于2个，主从节点不要部署在较差的网络环境下，如异地跨机房，防止复制客户端连接缓慢造成溢出。
  3. 订阅客户端：当使用发布订阅功能时，连接客户端使用单独的输出缓冲区，默认配置为：client-output-buffer-limit pubsub 32mb 8mb 60，当订阅服务的消息生产快于消费速度时，输出缓冲区会产生积压造成输出缓冲区空间溢出。
• 复制积压缓冲区：Redis在2.8版本之后提供了一个可重用的固定大小缓冲区用于实现部分复制功能，根据repl-backlog-size参数控制，默认为1MB。对于复制积压缓冲区整个主节点只有一个，所有从节点共享此缓冲区，因此可以设置较大的缓冲区空间，如100MB。
• AOF缓冲区：这部分空间用于在Redis重写期间保存最近的写入命令。

3.内存碎片

Redis默认的内存分配器采用jemalloc，可选的分配器还有：glibc、tcmalloc。内存分配器为了更好地管理和重复利用内存，分配内存策略一般采用固定范围的内存块进行分配。
以下场景容易出现高内存碎片问题：

1. 频繁做更新操作，例如频繁对已存在的键执行append、setrange等更新操作。
2. 大量过期键删除，键对象过期删除后，释放的空间无法得到充分利用，导致碎片率上升。

解决方式：
1. 数据对齐：在条件允许的情况下尽量做数据对齐，比如数据尽量采用数字类型或者固定长度字符串等，但是这要视具体业务而定。
2.安全重启：重启节点可以做到内存碎片重新整理，因此可以利用高可用架构，比如Sentinel或Cluster，将碎片率过高的主节点转换为从节点，进行安全重启。