Redis之SortedSets设计技巧

作者: Java_老男孩 | 来源:发表于2019-05-09 14:49 被阅读18次

介绍

Redis Sorted Sets是类似Redis Sets数据结构,不允许重复项的String集合。不同的是Sorted Sets中的每个成员都分配了一个分数值(score),它用于在Sorted Sets中进行成员排序,从最小值到最大值。Sorted Sets中所有的成员都是唯一的,其分数(score)是可以重复的,即是说一个分数可能会对应多个值。

用Sorted Sets可以非常快的进行添加、删除、或更新成员,其复杂度是O(m*log(n)),m是添加或查询的成员数量。因为成员是按照顺序添加的,所以可以非常快的通过score或者索引进行范围查询。访问Sorted Sets中间的元素也是非常快的,因此可以用sort sets作为一个不重复的小型有序列表。 通过Sorted Sets可以快速操作任何你想做的事情:排序的成员,判断成员是否在集合中,快速访问集合中间的成员。

如果多次添加相同的值到Sorted Sets上,redis会以最后一次的值分数为准。

总的来说,在其他数据库比较难完成的任务,用Sorted Sets可以更快更优性能的完成。

更多Sorted Sets的用法可以查看官方文档。

Score占位

Sorted Sets中的Score是个64位整数类型,其范围在-9007199254740992到9007199254740992之间,这是一个非常有用的关键点。

我们通常可以用它进行简单的范围查询,比如把年龄当分数,通过ZRANGEBYSCORE查询某个年龄段的所有用户。
查询18-35年龄的用户:

ZRANGEBYSCORE user 18 35

如果有更复杂的需求,比如通过日期,用户类型等来查询,就比较困难了。 如果用其他数据结构的话,想查询多条时就要多次往返操作,有性能上的损耗。 这里可以用Score整数类型的长度特性,来存储查询的条件信息。

比如有些数据需要通过日期范围查询,这是个很常见的场景。

使用Sorted Sets当存储的数据结构,添加key时把日期进行简单的转码。

一年有365天,在score中预留三位来存储天份,通过DayOfYear计算出一年第多少天:

var time1=DateTime.Now.DayOfYear

因为第100天前的数据不满三位,需要进行用0补全,写个方法:

string AutoCompletion(int length, int num)
    {
        string str = num.ToString();
        if (str.Length > length)
            throw new Exception("max length");
        var real = length - str.Length;
        var sb = new StringBuilder(length);
        for (int j = 0; j < real; j++)
        {
            sb.Append((char) 48);
        }
        sb.Append(str);
        return sb.ToString();
    }

因为数据的日期可能跨年,在天位前预留2位,存储年份。现在长度是5位,如15200表示的是15年19号(第200天)。

通过年份+天数计算出当前数据项score的值。

var score= long.Parse(dateTime.Year.ToString().Substring(2, 2) + AutoCompletion(3, dateTime.DayOfYear));

把实际值和分数值存储到redis里面:

ZADD test socre value

查询时把需要查询的日期范围转换到分数,这里查询前10天的数据:

        int time1 = DateTime.Now.DayOfYear;
        var score1 = AutoCompletion(time1, 2) + AutoCompletion(DateTime.Now.DayOfYear, 3);

        int time2 = DateTime.Now.DayOfYear;
        var score2 = AutoCompletion(time1, 2) + AutoCompletion(DateTime.Now.AddDays(-10).ToLocalTime().DayOfYear, 3);

在redis中查询:

ZRANGEBYSCORE user score1 score2

查询当天(分数)下的信息:

ZRANGEBYSCORE user score2 score2 

更多位信息

r64位整数类型有16个位置,意味着还可以存储更多维度信息。这里以日期为主,在增加个类型维度,日期位置左移4位,预留4位来存储类型维度。

如152003456,其3456四位是存储类型的,可以根据类型种类的多少可以增加位或减少位占用。

如果单纯以日期来查询时,类型不用传,后面4位在查询时补千位最小值和最大值即可。

查询前10天的数据:

ZRANGEBYSCORE user 151900000 152009999

查询15年19号3578类型的数据:

ZRANGEBYSCORE user 152003578 152003578 

查询15年19号1000-4000类型的数据:

ZRANGEBYSCORE user 152001000 152004000

关于类型往往不是简单的数据类型那么简单,可以做个简单的mapping表。

abcd 1000
dcda 1001
以此类推...

在添加时或查询时注意转换。

总结

需要注意的是score是整数类型按从小到大排序存储的,按照上面的设计是不能在指定类型的情况下,进行日期范围查找的,因为我们定义日期作为主维度。

通常在数据库中有很多层级关系的表,比如大分类、子分类、小分类等一级一级递减。 使用Sorted Sets我们可以模拟这种关系去设计Score值,主维度->次维度->低维度,这样就可以更快的进行范围分类信息的查询,有个前提是64位整数的位置够用。

如果没有类似的需求,可以使用时间戳作为值的分数值,这样就不需要额外的转换了。

简单分享了Sorted Sets存储设计的经验,希望对大家有所帮助。


本文的重点是你有没有收获与成长,其余的都不重要,希望读者们能谨记这一点。同时我经过多年的收藏目前也算收集到了一套完整的学习资料,包括但不限于:分布式架构、高可扩展、高性能、高并发、Jvm性能调优、Spring,MyBatis,Nginx源码分析,Redis,ActiveMQ、、Mycat、Netty、Kafka、Mysql、Zookeeper、Tomcat、Docker、Dubbo、Nginx等多个知识点高级进阶干货,希望对想成为架构师的朋友有一定的参考和帮助

喜欢这篇文章的朋友可以点个喜欢,也可以关注一下我的个人专题:Java成长之路

需要更详细思维导图和以下资料的可以加一下技术交流分享群:“708 701 457”免费获取




相关文章

  • Redis之SortedSets设计技巧

    介绍 Redis Sorted Sets是类似Redis Sets数据结构,不允许重复项的String集合。不同的...

  • redis对象之列表对象

    承接上文redis对象之字符串对象 参考文献:黄健宏《Redis设计与实现》 前言 列表对象是redis对象系统中...

  • 《redis设计与实现》 读书笔记

    《redis设计与实现》 读书笔记 《redis设计与实现》 作者:黄健宏 一、前言 什么是redis:Redis...

  • Redis 五大类型的对象

    《Redis 设计与实现》[http://redisbook.com/index.html]《Redis 设计与实...

  • Redis数据库实现

    《Redis 设计与实现》[http://redisbook.com/index.html]《Redis 设计与实...

  • RDB持久化

    《Redis 设计与实现》[http://redisbook.com/index.html]《Redis 设计与实...

  • AOF持久化

    《Redis 设计与实现》[http://redisbook.com/index.html]《Redis 设计与实...

  • Redis底层数据结构

    《Redis 设计与实现》[http://redisbook.com/index.html]《Redis 设计与实...

  • Redis事件

    《Redis 设计与实现》[http://redisbook.com/index.html]《Redis 设计与实...

  • Redis客户端

    《Redis 设计与实现》[http://redisbook.com/index.html]《Redis 设计与实...

网友评论

    本文标题:Redis之SortedSets设计技巧

    本文链接:https://www.haomeiwen.com/subject/mbqhoqtx.html