最近，在工作中遇到了一个关于Redis中list集合一次性pop所有数据的问题，相信很多小伙伴也会碰到拿到同样的问题，所以就拿出来聊一聊了。
业务场景及问题的提出
业务的情景是这样的，服务A 是面向客户的服务，主要是用了Redis作为存储的，而服务B是面向业务人员使用的，服务A 的数据服务B 是需要拿到的，所以我会把每次服务A 的请求参数放到一个Redis的队列中，而服务B 会起一个线程来定时的获取我队列的数据，其实这里涉及到了一个简易RPC框架的设计，下篇文章会来聊一聊我们这个简易RPC 框架的设计变迁，大致的架构如下：
服务架构.png
所以现在问题就来了，内部的定时服务如果一次pop一个那性能可就太差了，所以现在我们就需要支持一个可以自定义pop出队列元素个数的方法，而redis本身是没有这种方法的，所以得我们自己来设计，一起来聊一聊吧。
解决方案
1.多次请求
这应该是正常人都可以想到的办法了，任何问题都可以使用一个for循环来解决，如果不行，那就再来一个for循环，我们来看下这个简单的代码：
public List<String> multiRPopForCycle(String key, int size) {
// 获取当前队列里的值
int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
if (curSize == 0) {
return Collections.emptyList();
}
// 最终可以取出的数量
int finalSize = Math.toIntExact(Math.min(curSize, size));
List<String> resultList = new ArrayList<>();
for (int i = 0; i < finalSize; i++) {
String popElement = redisTemplate.opsForList().rightPop(key);
resultList.add(popElement);
}
return resultList;
}
这个代码写出来很简单，但是它好危险啊，如果我们需要pop出的数据很多怎么办，每次都需要进行通信，这来来回回就会产生很多时耗，上生产我们是没办法接受的，所以必须改进。
因为pop出多个元素，我们不可避免的需要进行for循环进行pop然后收集返回，也就是说我们需要执行多次redis的pop命令,为了减少通信时耗，我们可以一次性将所有的命令都发过去，一起执行，而实现这种方案我们有以下两种方法：
2.利用Redis事务
利用redis的事务来实现：拿到连接后，开启事务，然后进行执行pop命令，代码如下：
/**
* 通过事务机制来pop出多个元素
*
* @param key 键
* @param size 需要取出的元素个数
* @return 返回取出的元素集合
*/
public List<String> multiRPopTx(String key, int size) {
// 获取当前队列里的值
int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
if (curSize == 0) {
return Collections.emptyList();
}
// 最终可以取出的数量
int finalSize = Math.toIntExact(Math.min(curSize, size));
// 事务支持
return redisTemplate.execute(new SessionCallback<List<Object>>() {
@Override
public List<Object> execute(RedisOperations redisOperations) throws DataAccessException {
redisOperations.multi();
for (int i = 0; i < finalSize; i++) {
redisOperations.opsForList().rightPop(key);
}
return redisOperations.exec();
}
}).stream().map(obj -> (String) obj).collect(Collectors.toList());
}
3.利用Pipeline
当然了，还可以使用我们之前讲的pipeline来实现：
/**
* 一次性pop出指定数量的数据
*
* @param key 键
* @param size 需要取出的元素个数
* @return 返回取出的元素集合
*/
public List<String> multiRPopPipeline(String key, int size) {
// 获取当前队列里的值
int curSize = Math.toIntExact(redisTemplate.opsForList().size(key));
if (curSize == 0) {
return Collections.emptyList();
}
// 判断操作次数
return redisTemplate.executePipelined(new SessionCallback<String>() {
@Override
public String execute(RedisOperations redisOperations) throws DataAccessException {
final int finalSize = Math.toIntExact(Math.min(curSize, size));
for (int i = 0; i < finalSize; i++) {
redisOperations.opsForList().rightPop(key);
}
return null;
}
}).stream().map(obj -> (String) obj).collect(Collectors.toList());
}
其实在我们这种场景中是没必要使用事务的，使用事务还会带来一定的性能损耗，所以最终选择的是方案三，即基于管道来实现pop多个元素。
网友评论