美文网首页
Redis内存优化

Redis内存优化

作者: 杨鑫科 | 来源:发表于2018-10-10 16:29 被阅读0次

    Redis存储的数据都使用redisobject来封装,包括string、hash、list、set、zset在内的所有数据类型。理解redisobject对内存优化非常有帮助,下面针对每个字段做详细说明:


    redisObject内部结构

    )

    1.type字段:

    表示当前对象使用的数据类型,Redis主要支持5种数据型:string,hash,list,set,zset。可以使用type {key}命令查看对象所属类型,type命令返回的是值对象类型,键都是string类型。

    2.encoding字段:

    表示Redis内部编码类型,encoding在Redis内部使用,代表当前对象内部采用哪种数据结构实现。理解Redis内部编码方式对于优化内存非常重要 ,同一个对象采用不同的编码实现内存占用存在明显差异,具体细节见之后编码优化部分。

    3.lru字段:

    记录对象最后一次被访问的时间,当配置了 maxmemory和maxmemory-policy=volatile-lru | allkeys-lru 时, 用于辅助LRU算法删除键数据。可以使用object idletime {key}命令在不更新lru字段情况下查看当前键的空闲时间。

    4.refcount字段:

    记录当前对象被引用的次数,用于通过引用次数回收内存,当refcount=0时,可以安全回收当前对象空间。使用object refcount {key}获取当前对象引用。当对象为整数且范围在[0-9999]时,Redis可以使用共享对象的方式来节省内存。具体细节见之后共享对象池部分。

    5. *ptr字段:

    与对象的数据内容相关,如果是整数直接存储数据,否则表示指向数据的指针。Redis在3.0之后对值对象是字符串且长度<=39字节的数据,内部编码为embstr类型,字符串sds和redisObject一起分配,从而只要一次内存操作。

    二. 缩减键值对象

    降低Redis内存使用最直接的方式就是缩减键(key)和值(value)的长度。

    • key长度:如在设计键时,在完整描述业务情况下,键值越短越好。

    • value长度:值对象缩减比较复杂,常见需求是把业务对象序列化成二进制数组放入Redis。首先应该在业务上精简业务对象,去掉不必要的属性避免存储无效数据。其次在序列化工具选择上,应该选择更高效的序列化工具来降低字节数组大小。以JAVA为例,内置的序列化方式无论从速度还是压缩比都不尽如人意,这时可以选择更高效的序列化工具,如: protostuff,kryo等,下图是JAVA常见序列化工具空间压缩对比。

    image

    其中java-built-in-serializer表示JAVA内置序列化方式,更多数据见jvm-serializers项目:https://github.com/eishay/jvm-serializers/wiki,其它语言也有各自对应的高效序列化工具。

    值对象除了存储二进制数据之外,通常还会使用通用格式存储数据比如:json,xml等作为字符串存储在Redis中。这种方式优点是方便调试和跨语言,但是同样的数据相比字节数组所需的空间更大,在内存紧张的情况下,可以使用通用压缩算法压缩json,xml后再存入Redis,从而降低内存占用,例如使用GZIP压缩后的json可降低约60%的空间。

    开发提示:当频繁压缩解压json等文本数据时,开发人员需要考虑压缩速度和计算开销成本,这里推荐使用google的Snappy压缩工具,在特定的压缩率情况下效率远远高于GZIP等传统压缩工具,且支持所有主流语言环境。

    详细介绍请看
    Redis的内存优化

    相关文章

      网友评论

          本文标题:Redis内存优化

          本文链接:https://www.haomeiwen.com/subject/qezpaftx.html