Activemq构建高并发、高可用的大规模消息系统

摘要： Activemq构建高并发、高可用的大规模消息系统 在网上看了很多关于Activemq的帖子，但是大部分的内容都只能算是对activemq官网内容的翻译。很少有相关的案例分析，本文将分享"如何用Activemq构建超大（10万笔消息/秒以上）规模消息系统" 在实时消息系统中，MQ消息中间件广泛应用于各类消息系统中，在异步消息处理架构中，MQ几乎是必备的中间件。

Activemq构建高并发、高可用的大规模消息系统

在网上看了很多关于Activemq的帖子，但是大部分的内容都只能算是对activemq官网内容的翻译。很少有相关的案例分析，本文将分享"如何用Activemq构建超大（10万笔消息/秒以上）规模消息系统"

在实时消息系统中，MQ消息中间件广泛应用于各类消息系统中，在异步消息处理架构中，MQ几乎是必备的中间件。 同时，MQ的处理性能也将直接影响整个系统的性能。如果MQ出现故障，那么整个系统将瘫痪，其后果将是灾难性的。 所以在一般情况下MQ会中HA，或是failover，但是如果要求消息处理能力在10万/秒以上时，简单的HA或failover将不能满足要求。

 一、Activemq broker部署方式

1） 单MQ broker 时

整个系统中只有一个Activemq Broker，在生产系统中几乎不使用。因为单个MQ存在单点故障。

2） Master - slave　模式

采用Master-slave模式，同时在链接串中增加failover功能， 能够实现HA, 避免单点故障。但是，Master-slave方式一般需要"共享文件系统"，同时必须保证出现问题时，文件锁能正常切换。另外，slave处于stand by状态，不对外提供服务。 在Master高负荷的情况下，Slave不能提供能帮助。如果Master在高负荷情况下挂掉，那么Slave在同样的情况下也可能挂掉，只是时间问题。（ Replicate Leveldb 方案也存在上述问题）。 另外，activemq 还有network模式，但此模式的应用场景不是很明确。

    二、多个Activemq broker 同时工作

通过上面的分析， 简单的采用Activemq官网上提供的方案基本上不能满足生产系统的性能和高可用要求。因此，必须对上述方案进行改进，实现 “高性能”，“高可用”，“可扩展”的MQ集群方案。

同时部署多个Activemq broker实例, 多个Activemq broker实例同时工作。单个broker实例，生产和消费消息的速度在1万条/秒，部署N个Broker, 整个消息通道就能拓宽N倍； 多个（4个以上）broker 实例同时工作，其中1到2个mq实例出现问题时，消息可经过其他broker处理，整个系统依然可以健康工作，从而实现高可用。

a、消息发送方的应用程序的采用轮循方式给多个broker发送消息

b、消息消费方的应用程序针对每个broker启用对应的consumer来消费消息。

按照这样的部署方案，两个或两个以上MQ可以同时工作，可以解决MQ单点问题。MQ做为消息的传输管道， 增加MQ数量就可以拓宽管道的宽度，提高消息传输性能。

我们将“多个同时工作的broker"成为 broker组，如果 broker组内的broker数量太多的话，那么再开发或部署时，broker内的队列配置将会是一件非常繁琐的事。因此，我们将broker内的队列queue进行分组，具有相同前缀名的队列为一组，前缀名相同的队列中的消息的业务逻辑是相同的。通过队列前缀名将消息组件与业务关联上。 根据业务不同，配置不同的sender  和 listener 时，只要配置不同的队列前缀名。从而简化配置与使用，同时也可以防止消息发错队列的错误。

如上图，有 ChargeQueue 和 QueryQueue连个队列组，对应不同的业务功能。

在消息消费的应用程序中，针对ChargeQueue 和 QueryQueue 配置Consumer Listener Container， 同时可以正对不同的队列配置不同数量的消费则数目。

单个ActiveMQ的接收和消费消息的速度在1万笔/秒（持久化 一般为1-2万， 非持久化 2 万以上），在生产环境中部署10个Activemq就能达到10万笔/秒以上的性能，部署越多的activemq broker 在MQ上latency也就越低，系统吞吐量也就越高。

三、Activemq 性能优化。

1、 producer消息发送端，需要采用 AsyncSend模式， 在 activemq 的连接串中增加jsm.useAsyncSend, 例如 tcp://127.0.0.1:61616?jms.useAsyncSend=true

2、consumer消息消费端，如果有多个不同的应用程序去消费同一个队列中的消息，那么 activemq的 prefetchSize应该设置为1。

以上两个参数对性能的影响非常大。