大海捞针 —— Scan

在平时线上 Redis 维护工作中，有时候需要从 Redis 实例成千上万的 key 中找出特定前缀的 key 列表来手动处理数据，可能是修改它的值，也可能是删除 key。这里就有一个问题，如何从海量的 key 中找出满足特定前缀的 key 列表来？

一、简单暴力的指令 keys

Redis 提供了一个简单暴力的指令 keys 用来列出所有满足特定正则字符串规则的 key。

    @Test
    public void testKeys(){
        for (int i = 0; i < 5 ; i++) {
            jedis.set(CODEHOLE+i,CODEHOLE+i);
        }
        for (int i = 0; i < 5 ; i++) {
            jedis.set("code"+i+"hole","code"+i+"hole");
        }
        Assert.assertEquals(10,jedis.keys("code*").size());
        Assert.assertEquals(5,jedis.keys(CODEHOLE+"*").size());
        Assert.assertEquals(5,jedis.keys("code*hole").size());
    }

这个指令使用非常简单，提供一个简单的正则字符串即可，但是有很明显的两个缺点。

1、没有 offset、limit 参数，一次性吐出所有满足条件的 key，万一实例中有几百 w 个key 满足条件，当你看到满屏的字符串刷的没有尽头时，你就知道难受了

2、keys 算法是遍历算法，复杂度是 O(n)，如果实例中有千万级以上的 key，这个指令就会导致 Redis 服务卡顿，所有读写 Redis 的其它的指令都会被延后甚至会超时报错，因为Redis 是单线程程序，顺序执行所有指令，其它指令必须等到当前的 keys 指令执行完了才可以继续。

二、大海捞针的指令——scan

Redis 为了解决这个问题，它在 2.8 版本中加入了大海捞针的指令——scan。scan 相比keys 具备有以下特点：

1、复杂度虽然也是 O(n)，但是它是通过游标分步进行的，不会阻塞线程;
2、提供 limit 参数，可以控制每次返回结果的最大条数，limit 只是一个 hint，返回的结果可多可少;
3、同 keys 一样，它也提供模式匹配功能;
4、服务器不需要为游标保存状态，游标的唯一状态就是 scan 返回给客户端的游标整数;
5、返回的结果可能会有重复，需要客户端去重复，这点非常重要;
6、遍历的过程中如果有数据修改，改动后的数据能不能遍历到是不确定的;
7、单次返回的结果是空的并不意味着遍历结束，而要看返回的游标值是否为零;

scan 参数提供了三个参数，第一个是 cursor 整数值，第二个是 key 的正则模式，第三个是遍历的 limit hint。第一次遍历时，cursor 值为 0，然后将返回结果中第一个整数值作为下一次遍历的 cursor。一直遍历到返回的 cursor 值为 0 时结束。

    @Test
    public void testScan(){
        for (int i = 0; i < 1000 ; i++) {
            jedis.set(CODEHOLE+i,CODEHOLE+i);
        }
        ScanParams params = new ScanParams().match(CODEHOLE+"9*").count(100);
        final ScanResult<String> scan = jedis.scan(ScanParams.SCAN_POINTER_START, params);
        Console.log("cursor："+scan.getCursor()+",result:"+JSONUtil.toJsonPrettyStr(scan.getResult()));
        jedis.flushDB();
    }

// CONSOLE ====================
cursor：472,result:[
    "codehole941",
    "codehole903",
    "codehole962",
    "codehole985",
    "codehole983",
    "codehole980",
    "codehole927",
    "codehole982",
    "codehole966",
    "codehole917"
]

从上面的过程可以看到虽然提供的 limit 是 100，但是返回的结果只有 10 个左右。因为这个 limit 不是限定返回结果的数量，而是限定服务器单次遍历的字典槽位数量(约等于)。如果将 limit 设置为 10，你会发现返回结果是空的，但是游标值不为零，意味着遍历还没结束。

更多的 scan 指令

scan 指令是一系列指令，除了可以遍历所有的 key 之外，还可以对指定的容器集合进行遍历。比如 zscan 遍历 zset 集合元素，hscan 遍历 hash 字典的元素、sscan 遍历 set 集合的元素。

在平时的业务开发中，要尽量避免大 key 的产生。

如果你观察到 Redis 的内存大起大落，这极有可能是因为大 key 导致的，这时候你就需要定位出具体是那个 key，进一步定位出具体的业务来源，然后再改进相关业务代码设计。那如何定位大 key 呢？

redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

这个指令每隔 100 条 scan 指令就会休眠 0.1s

本文基于《Redis深度历险：核心原理和应用实践》一文的JAVA实践。更多文章请参考：高性能缓存中间件Redis应用实战（JAVA）