美文网首页
7、Redis独立功能

7、Redis独立功能

作者: yannhuang | 来源:发表于2017-06-01 19:32 被阅读73次

    一、二进制位数组

    Redis提供了SETBIT、GETBIT、BITCOUNT、BITOP四个命令用于处理二进制位数组。

    1. SETBIT,为位数组指定偏移量上的二进制位设置值0或1。
    2. GETBIT,获取位数组指定偏移量上的二进制位的值。
    3. BITCOUNT,统计位数组中1的个数。
    4. BITOP,既可以对多个位数组进行按位与、按位或、按位异或运算,也可以对给定位数组取反。

    1、位数组的表示

    Redis使用字符串来表示位数组,并使用SDS结构的操作函数来处理位数组。

    位数组初始化
    1. redisObject.type的值为REDIS_STRING,表示字符串对象。
    2. sdshdr.len值为1,表示这个SDS保存了一个一字节长的位数组。
    3. buf数组的buf[0]字节保存了一个一字节长的位数组。
    4. buf数组的buf[1]字节保存了SDS程序自动追加到值的末尾的'\0'。

    由上图可知,二进制位数组在初始化的时候,是只有两个字节,第一个字节是八位长的二进制位,第二个字节用于存储末尾空字符。在后续字节位扩展的时候,在扩展到足够用的字节的同时,会在末尾多扩展两个字节。如下图中,扩展了一个字节后的效果图:

    位数组扩展效果

    由上图可知,位数组扩展 buf[1] 的同时还增加了两个未使用的字节: buf[3]、buf[4],再加上原来的空字节,扩展后的位数组就有五个字节了。

    2、GETBIT命令的实现

    用于返回位数组bitarray在offset偏移量上的二进制位的值:

    1. 计算 byte = (offset / 8),byte记录了offset偏移量指定的二进制保存在位数组的哪个字节。
    2. 计算 bit = (offset mode 8) + 1,bit记录offset指定的二进制位是byte字节的第几个二进制位。
    3. 根据 byte 和 bit 值,在位数组 bitarray中定位offset指定的二进制位,并返回这个位的值。

    3、SETBIT命令的实现

    用于将位数组bitarray在offset偏移量上的二进制位设置为value:

    1. 计算len = (offset / 8) + 1,len记录了offset指定的二进制位至少需要多少个字节。
    2. 检查bitarray键保存的位数组长度是否小于len。如果是,扩展,并将新空间的二进制位置为0。
    3. 计算 byte = (offset / 8),byte记录了offset偏移量指定的二进制保存在位数组的哪个字节。
    4. 计算 bit = (offset mode 8) + 1,bit记录offset指定的二进制位是byte字节的第几个二进制位。
    5. 根据 byte 和 bit 值,在位数组 bitarray中定位offset指定的二进制位,首先将现在的值保存在oldvalue变量,然后将value设置为新值。
    6. 向客户端返回oldvalue的值。

    二、慢查询日志

    Redis的慢查询日志,用于记录执行时间超过给定时长的命令请求,用户可以通过这个日志来监视和优化查询速度。

    服务器有两个选项和慢查询有关:

    1. slowlog-log-slower-than,指定执行时间超过多少微秒的命令请求会被记录到日志上。
    2. slowlog-max-len,指定服务器上最多保存多少条慢查询日志。数量超过,则先入先出。

    SLOWLOG GET 可以查看服务器保存的慢查询日志。

    三、发布与订阅

    Redis的发布与订阅功能由PUBLISH、SUBSCRIBE、PSUBSCRIBE等命令组成。

    通过执行SUBSCRIBE命令,客户端可以订阅一个或多个频道,成为这些频道的订阅者(subscriber):每当有其他客户端向被订阅的频道发送消息时,频道的所有订阅者都会收到这条消息。

    举个例子,假设A、B、C三个客户端都执行了命令:

    SUBSCRIBE "news.it"

    那么这三个客户端就是"news.it"频道的订阅者,如下图

    客户端订阅频道

    如果这时某个客户端执行命令:

    PUBLISH "news.it" "hello"

    向"news.it"频道发送消息:"hello",那么"news.it"的三个订阅者都能收到这条消息:

    客户端向频道发送消息, 消息被传递至各个订阅者

    客户端还可以通过PSUBSCRIBE订阅一个或多个模式:每当有其他客户端向某个频道发送消息,消息不仅会发送给这个频道的订阅者,还会发送给与这个频道相匹配的模式的订阅者,如下:

    客户端向频道发送消息, 消息被传递给正在订阅匹配模式的订阅者

    四、事务

    Redis通过MULTI、EXEC、WATCH等命令实现事务(transaction)功能。事务提供一种将多个命令请求打包,然后一次性、按顺序地执行多个命令的机制。在事务执行期间,服务器不会中断事务去执行其他客户端的命令请求。

    事务以MULTI开始,接着是多个命令放入事务之中,最后由EXEC将这个事务提交(commit)到服务器执行,举例如下:

    redis> multi
    OK
    redis> incr a
    QUEUED
    redis> incr b
    QUEUED
    redis> exec
    1. (integer) 1
    2. (integer) 1
    

    五、排序

    Redis支持对list,set和sorted set元素的排序。

    排序命令是sort 完整的命令格式如下:

    SORT key [BY pattern] [LIMIT start count] [GET pattern] [ASC|DESC] [ALPHA] [STORE dstkey]  
    

    下面说明各种命令选项

    1、sort key

    这个是最简单的情况,没有任何选项就是简单的对集合自身元素排序并返回排序结果.下面给个例子

    redis> lpush ml 12
    (integer) 1
    redis> lpush ml 11
    (integer) 2
    redis> lpush ml 23
    (integer) 3
    redis> lpush ml 13
    (integer) 4
    redis> sort ml
    1. "11"
    2. "12"
    3. "13"
    4. "23"
    

    **2、[ASC|DESC] [ALPHA] **

    sort默认的排序方式(asc)是从小到大排的,当然也可以按照逆序或者按字符顺序排。逆序可以加上desc选项,想按字母顺序排可以加alpha选项,当然alpha可以和desc一起用。下面是个按字母顺序排的例子

    redis> lpush mylist baidu
    (integer) 1
    redis> lpush mylist hello
    (integer) 2
    redis> lpush mylist xhan
    (integer) 3
    redis> lpush mylist soso
    (integer) 4
    redis> sort mylist
    1. "soso"
    2. "xhan"
    3. "hello"
    4. "baidu"
    redis> sort mylist alpha
    1. "baidu"
    2. "hello"
    3. "soso"
    4. "xhan"
    redis> sort mylist desc alpha
    1. "xhan"
    2. "soso"
    3. "hello"
    4. "baidu"
    

    **3、[BY pattern] **

    除了可以按集合元素自身值排序外,还可以将集合元素内容按照给定pattern组合成新的key,并按照新key中对应的内容进行排序。下面的例子接着使用第一个例子中的ml集合做演示:

    redis> set name11 nihao
    OK
    redis> set name12 wo
    OK
    redis> set name13 shi
    OK
    redis> set name23 lala
    OK
    redis> sort ml by name* 
    1. "13"
    2. "23"
    3. "11"
    4. "12"
    

    *代表了ml中的元素值,所以这个排序是按照name12 name13 name23 name23这四个key对应值排序的,当然返回的还是排序后ml集合中的元素

    **4、[GET pattern] **

    上面的例子都是返回的ml集合中的元素。我们也可以通过get选项去获取指定pattern作为新key对应的值。看个组合起来的例子

    redis> sort ml by name* get name*  alpha
    1. "lala"
    2. "nihao"
    3. "shi"
    4. "wo"
    

    这次返回的就不在是ml中的元素了,而是name12 name13 name23 name23对应的值。当然排序是按照name12 name13 name23 name23值并根据字母顺序排的。另外get选项可以有多个。看例子(#特殊符号引用的是原始集合也就是ml)

    redis> sort ml by name* get name* get #  alpha
    1. "lala"
    2. "23"
    3. "nihao"
    4. "11"
    5. "shi"
    6. "13"
    7. "wo"
    8. "12"
    

    最后在还有一个引用hash类型字段的特殊字符->,下面是例子

    redis> hset user1 name hanjie
    (integer) 1
    redis> hset user11 name hanjie
    (integer) 1
    redis> hset user12 name 86
    (integer) 1
    redis> hset user13 name lxl
    (integer) 1
    redis> sort ml get user*->name
    1. "hanjie"
    2. "86"
    3. "lxl"
    4. (nil)
    

    很容易理解,注意当对应的user23不存在时候返回的是nil

    **5、[LIMIT start count] **

    上面例子返回结果都是全部。limit选项可以限定返回结果的数量。例子

    redis> sort ml get name* limit 1 2
    1. "wo"
    2. "shi"
    

    start下标是从0开始的,这里的limit选项意思是从第二个元素开始获取2个

    6、[STORE dstkey]

    如果对集合经常按照固定的模式去排序,那么把排序结果缓存起来会减少不少cpu开销.使用store选项可以将排序内容保存到指定key中。保存的类型是list

    redis> sort ml get name* limit 1 2 store cl
    (integer) 2
    redis> type cl
    list
    redis> lrange cl 0 -1
    1. "wo"
    2. "shi"
    

    这个例子我们将排序结果保存到了cl中

    功能介绍完后,再讨论下关于排序的一些问题。

    如果我们有多个redis server的话,不同的key可能存在于不同的server上。比如name12 name13 name23 name23,很有可能分别在四个不同的server上存贮着。

    这种情况会对排序性能造成很大的影响。redis作者在他的blog上提到了这个问题的解 决办法,就是通过key tag将需要排序的key都放到同一个server上 。

    由于具体决定哪个key存在哪个服务器上一般都是在client端hash的办法来做的。我们可以通过只对key的部分进行hash.举个例子假如我们 的client如果发现key中包含[]。那么只对key中[]包含的内容进行hash。我们将四个name相关的key,都这样命名[name]12 [name]13 [name]23 [name]23,于是client 程序就会把他们都放到同一server上。不知道jredis实现了没。

    还有一个问题也比较严重。如果要sort的集合非常大的话排序就会消耗很长时间。由于redis单线程的,所以长时间的排序操作会阻塞其他client的 请求。

    解决办法是通过主从复制机制将数据复制到多个slave上。然后我们只在slave上做排序操作。并进可能的对排序结果缓存。另外就是一个方案是就 是采用sorted set对需要按某个顺序访问的集合建立索引。

    实例:

    redis> sadd tom:friend:list  123 #tom的好友列表 里面是好友的uid 
    1 
    redis> sadd tom:friend:list  456 
    1 
    redis> sadd tom:friend:list  789 
    1 
    redis> sadd tom:friend:list  101 
    1 
    redis> set uid:sort:123 1000 #uid对应的成绩 
    OK 
    redis> set uid:sort:456 6000 
    OK 
    redis> set uid:sort:789 100 
    OK 
    redis> set uid:sort:101 5999 
    OK 
    redis> set uid:123 "{'uid':123,'name':'lucy'}" #增加uid对应好友信息 
    OK 
    redis> set uid:456 "{'uid':456,'name':'jack'}" 
    OK 
    redis> set uid:789 "{'uid':789,'name':'marry'}" 
    OK 
    redis> set uid:101 "{'uid':101,'name':'icej'}"  
    OK 
    redis> sort tom:friend:list by uid:sort:* get uid:* #从好友列表中获得id与uid:sort字段匹配后排序,并根据排序后的顺序,用key在uid表获得信息 
    1. {'uid':789,'name':'marry'} 
    2. {'uid':123,'name':'lucy'} 
    3. {'uid':101,'name':'icej'} 
    4. {'uid':456,'name':'jack'} 
    redis> sort tom:friend:list by uid:sort:* get uid:* get uid:sort:* 
    1. {'uid':789,'name':'marry'} 
    2. 100 
    3. {'uid':123,'name':'lucy'} 
    4. 1000 
    5. {'uid':101,'name':'icej'} 
    6. 5999 
    7. {'uid':456,'name':'jack'} 
    8. 6000
    

    相关文章

      网友评论

          本文标题:7、Redis独立功能

          本文链接:https://www.haomeiwen.com/subject/hpdvxxtx.html