最终方案-----> Redis进阶-Stream多播的可持久化的消息队列
我们知道redis 5.x版本，作者提供了stream这种基于radix tree 基数树的数据结构，解决使用Redis实现MQ“百花齐放”的乱象。
这里我们来聊一聊使用Redis实现MQ的主要集中实现以及利弊
方案1 Pub/Sub
Redis发布订阅
优点
Pub/Sub的消息是 Fan Out 多播模式 ，每个订阅了Channel的消费者都能从Channel中获取到同等的信息。
缺点
消息没有持久化的机制。当消费者的连接断掉 后，再次重连，那么Channel中的消息对于该消费者而言将无法消费。
消费消息的速度和消费者的数量成反比. 当消费者的数量达到一定规模时，服务器的性能将线性下降，因此每个消费者获取到消息的延迟也线性增长
当生产者产生消息的速度远大于消费者的消费能力的时候，消费者会被强制断开连接，因此会造成消息的丢失
client-output-buffer-limit pubsub 32mb 8mb 60
当消费者的buffer积压超过32MB，或者在60s内消费者的buffer一直保持在8MB以上，那么该消费者就会被redis服务器给强制断开连接，可以修改这个配置，但无法预料修改后的会带来什么样的结果。
小结
Redis的Pub/Sub模型对于无法容忍数据丢失，消息可能积压的场景不太适合。
方案2 List
Redis进阶-List底层数据结构精讲
优点
消息可以持久化。当consumer断开连接或者crash的时候，再次去消费，历史消息会得以保留，可以从最后一次消费的位置进行消费
消息可以积压。当生产者产生消息的速度大于消费者的速度的时候，除了会耗费一些内存外，无其他影响
缺点
一个消息最多只能被消费一次 。 一条消息被一个消费者消费之后，这条消息就被删除了，其他的消费者再无可能重复消费掉这条消息。也就是说List方案的消息不是发散的，同一条消息只能被一个消费者消费。
小结
List方案适合应用在消息最多被消费一次的场景 .
如果想要消息被重复消费，需要通过其他手段来解决，比如
一个消费者消费完消息之后，把它加入到另外一个队列的对尾，其他消费者从这个新建的队列中消费消息，这样就会造成多个消费者消费的顺序依赖，不能并行执行
在消费者消费之前，对消息进行处理，把该消息写入到若干个队列中，这样能支持多个消费者同时消费，但是数据却被拷贝了多次
方案3 ZSet
优点
在5.0的stream出现之前，zset是这几种之中最复杂的实现方案，但是它能有效地解决Pub/Sub和List方案的不足。
ZSet支持消息持久化
ZSet支持消息重复消费。 ZSet使用的获取消息操作ZRANGEBYSCORE（返回有序集合中指定分数区间的成员列表） ，该操作不会删除消息
缺点
使用zset要考虑一下几点
消息的顺序。 score至关重要，这关系到消息的先后顺序，比如使用timestamp+seq作为score能够保证消息的顺序。
重复消息的添加。zset重复的消息是不能够添加到集合中的， 当消息一样的时候，如何存放，需要考虑
小结
基于上述原因 ZSet方案的实现相比list和pub/sub 相对复杂。
方案4 stream
千呼万唤始出来， stream解决你的绝大部分苦恼 ~
Redis进阶-Stream多播的可持久化的消息队列
————————————————
原文链接：https://blog.csdn.net/yangshangwei/article/details/105940406
网友评论