美文网首页
消息队列

消息队列

作者: ands999 | 来源:发表于2019-05-02 17:04 被阅读0次
概述

消息队列中间件是分布式系统中的重要组件,主要实现异步消息,应用解耦,流量削峰和消息通讯等功能。实现高性能,高可用,可伸缩和最终一致性架构。
消息队列中间件(Message Queue Middleware)是指利用高效可靠的消息传递机制,进行与平台无关的数据交流,并给予数据通信来进行分布式系统的集成。通过提供消息传递和消息队列模型,它可以在分布式环境下扩展进程间的通信。
MQ提供基于存储和转发的应用程序之间的异步数据发送。是有保存的消息发送,无需了解远程过程调用(RPC)和网络通信协议的细节。
消息中间件适用于需要可靠的数据传送的分布式环境。MQ能在不同平台之间通信,可以屏蔽各种平台及协议之间的特性,实现应用程序之间的协同,其优点在于能够在客户与服务器之间提供同步和异步的连接,并且在任何时刻都可以将消息进行传送或存储转发,这也是它比RPC更好的地方。
目前使用较多的消息队列有RabbitMQ,Kafka,RocketMQ等。

作用
  • 系统解耦(解决不同重要程度、能力级别的系统之间依赖导致一死全死)
  • 异步通信
  • 削峰填谷 (解决瞬时写压力大于应用服务能力而导致的消息丢失、系统崩溃等问题)
Kafka

topic、partition、replica、offset、checkpointing、leader、follower、ISR、零拷贝、epoll、selector、consumer group、coordinator、rebalance、reactor、ack

RabbitMQ

AMQP、排他队列、vhost、exchange、bindingKey、routingKey、push&pull、mandatory、备份交换器、镜像队列、死信队列、autoAck、ttl、事务机制、生产者确认、QoS、流控、网络分区

  1. 生产消费关系
  • Point/Point
  • Publish/Subscribe
  1. 优先级
  2. 排序
  3. 过滤
  • Broker端消息过滤
  • Consumer端消息过滤
  1. 持久化
  2. 可用性
  3. 回溯消费
  4. 分布式事务
  5. 定时消息
  6. 消息重试
  7. 消费方式
  • 集群消费
  • 广播消费

对于平台各个系统之间的异步交互,是通过MQ组件进行的。

在设计消息服务组件时,需要考虑消息一致性、持久化、可用性、以及完善的监控体系。
RabbitMQ遵循AMQP协议,由内在高并发的erlanng语言开发;
kafka是Linkedin于2010年12月份开源的消息发布订阅系统,主要用于处理活跃的流式数据,大数据量的数据处理上。对消息一致性要求比较高的场合需要有应答确认机制,包括生产消息和消费消息的过程;不过因网络等原理导致的应答缺失,可能会导致消息的重复,这个可以在业务层次根据幂等性进行判断过滤;RabbitMQ采用的是这种方式。还有一种机制是消费端从broker拉取消息时带上LSN号,从broker中某个LSN点批量拉取消息,这样无须应答机制,kafka分布式消息中间件就是这种方式。
LSN 日志序列编号?
RabbitMQ解决方案中有普通的集群和可用性更高的mirror queue方式。 kafka采用zookeeper对集群中的broker、consumer进行管理,可以注册topic到zookeeper上;通过zookeeper的协调机制,producer保存对应topic的broker信息,可以随机或者轮询发送到broker上;并且producer可以基于语义指定分片,消息发送到broker的某分片上。

高级消息队列协议(AMQP)是一个应用层协议规范。作为线路层协议,而不是API(例如JMS)。

AMQP是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。AMQP协议用在对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求在其次。

队列是一个先进先出的数据结构。

JNDI:Java命名和目录接口,是一种标准的Java命名系统接口。可以在网络上查找和访问服务。通过指定一个资源名称,该名称对应数据库或命名服务中的一个记录,同时返回资源连接建立所必须的信息。
JNDI在JMS中起到查找和访问发送目标或消息来源的作用。

应用场景

异步处理

场景说明:用户注册后,需要发注册邮件和注册短信。传统的做法有下面两种。
(1)串行方式:将注册信息写入数据库成功后,发送注册邮件,再发送注册短信。以上三个任务全部完成后,返回给客户端。
(2)并行方式:将注册信息写入数据库成功后,发送注册邮件的同时,发送注册短信。以上三个任务完成后,返回给客户端。与串行的差别是,并行的方式可以提高处理的时间。
假设三个业务节点每个使用50毫秒钟,不考虑网络等其他开销,则串行方式的时间是150毫秒,并行的时间可能是100毫秒。
因为CPU在单位时间内处理的请求数是一定的,假设CPU在1秒内吞吐量是100次。则串行方式1秒内CPU可处理的请求量是7次(1000/150)。并行方式处理的请求量是10次(1000/100)。
小结:如以上案例描述,采用传统方式的系统性能(并发量,吞吐量,响应时间)会有瓶颈。如何解决这个问题呢?
引入消息队列,将不是必须的业务逻辑,异步处理
按照以上约定,用户的响应时间相当于是注册信息写入数据库的时间,也就是50毫秒。注册邮件,发送短信写入消息队列后,直接返回,因为写入消息队列的速度很快,基本可以忽略,因此用户的响应时间可能是50毫秒。因此架构改变后,系统的吞吐量提高到每秒20 QPS。比串行提高了3倍,比并行提高了两倍。

应用解耦

场景说明:用户下单后,订单系统需要通知库存系统。传统的做法是,订单系统调用库存系统的接口。
传统模式的缺点:
1) 假如库存系统无法访问,则订单减库存将失败,从而导致订单失败;
2) 订单系统与库存系统耦合;
如何解决以上问题呢?引入应用消息队列后的方案,
订单系统:用户下单后,订单系统完成持久化处理,将消息写入消息队列,返回用户订单下单成功。
库存系统:订阅下单的消息,采用拉/推的方式,获取下单信息,库存系统根据下单信息,进行库存操作。
假如:在下单时库存系统如果不能正常使用,也不影响正常下单。实现订单系统与库存系统的应用解耦。

流量削峰

流量削锋也是消息队列中的常用场景,一般在秒杀或团抢活动中使用广泛。
应用场景:秒杀活动,一般会因为流量过大,导致流量暴增,应用挂掉。为解决这个问题,一般需要在应用前端加入消息队列。

  1. 可以控制活动的人数;
  2. 可以缓解短时间内高流量压垮应用;
  3. 用户的请求,服务器接收后,首先写入消息队列。假如消息队列长度超过最大数量,则直接抛弃用户请求或跳转到错误页面;
  4. 秒杀业务根据消息队列中的请求信息,再做后续处理。
消息通讯

消息通讯是指,消息队列一般都内置了高效的通信机制,因此可以用在纯的消息通讯。比如实现点对点消息队列,或者聊天室等。
点对点通讯:
客户端A和客户端B使用同一队列,进行消息通讯。
聊天室通讯:
客户端A,客户端B,客户端N订阅同一主题,进行消息发布和接收。实现类似聊天室效果。
以上实际是消息队列的两种消息模式,点对点或发布订阅模式。

JMS消息服务

JMS(JAVA Message Service, java消息服务)API是一个消息服务的标准/规范,允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布式通信耦合度更低,消息服务更加可靠以及异步性。

消息模型

在JMS标准中,有两种消息模型P2P(Point toPoint),Publish/Subscribe(Pub/Sub)。

P2P模式

P2P的特点:
每个消息只有一个消费者(Consumer)(即一旦被消费,消息就不再在消息队列中)
发送者和接收者之间在时间上没有依赖性,也就是说当发送者发送了消息之后,不管接收者有没有正在运行,它不会影响到送到队消息被发列,接收者在成功接收消息之后需向队列应答成功,如果希望发送的每个消息都会被成功处理的话,那么需要P2P模式。

Pub/Sub模式

包含三个角色:主题(Topic),发布者(Publisher),订阅者(Subscriber) 。
Pub/Sub的特点:
每个消息可以有多个消费者。
消息消费
在JMS中,消息的生产和消费都是异步的。对于消费来说,JMS的消息者可以通过两种方式来消费消息。
(1)同步
订阅者或接收者通过receive方法来接收消息,receive方法在接收到消息之前(或超时之前)将一直阻塞;
(2)异步
订阅者或接收者可以注册为一个消息监听器。当消息到达之后,系统自动调用监听器的onMessage方法。

参考资料

(1)Jms
http://blog.sina.com.cn/s/blog_3fba24680100r777.html
http://blog.csdn.net/jiuqiyuliang/article/details/46701559(深入浅出
JMS(一)--JMS基本概念)
(2)RabbitMQ
http://blog.csdn.net/sun305355024sun/article/details/41913105
(4)Kafka
http://www.infoq.com/cn/articles/apache-kafka/
http://www.mincoder.com/article/3942.shtml

相关文章

  • 消息队列:消息队列简介

    1. 什么是消息队列 消息队列(message queue),是一种应用程序的通信方法; 消息队列是 生产者-消费...

  • 消息中间件

    消息中间件,也可以叫做中央消息队列或者是消息队列(区别于本地消息队列,本地消息队列指的是 JVM 内实现的队列实现...

  • 消息队列对比

    引用: 常用消息队列对比消息队列及常见消息队列介绍 常用消息队列 1. RabbitMQ 用erlang语言开发的...

  • 消息队列应用-使用异步队列就解耦了吗

    消息队列作用一文介绍了为什么要使用消息队列。我们再来讨论下如何有效使用消息队列。 消息队列模式 目前主流消息队列主...

  • Kafka常见问题解决

    概要:我们使用消息队列,就需要知道为什么要用消息队列,什么场景需要用消息队列,使用消息队列能带来哪些好处和消息队列...

  • 进程间通信(下)

    消息队列 在UNP第二卷中详细介绍了两种消息队列:Posix消息队列和System V消息队列。这两种消息队列很相...

  • APUE读书笔记-15进程内部通信(6)

    7、消息队列 消息队列是存放在内核中的消息的链表,通过消息队列标识进行标记。我们把消息队列称为队列,把它的标识称为...

  • java消息机制

    1.什么是消息队列? 1.消息队列是一个队列,先进先出,你无法读取消息队列中间的消息,只能按照顺序,从消息队列的头...

  • springboot项目架构(4)activemq、rabbit

    消息队列实现 支持的消息队列 ActiveMq RabbitMq RocketMq Kafka 各个队列实现队列与...

  • 进程间通信(7)-IPC通信之消息队列

    一、消息队列 消息队列是一种链式队列。 Msqid_ds:维护消息队列的结构体,队列的第一个消息指针msg_fir...

网友评论

      本文标题:消息队列

      本文链接:https://www.haomeiwen.com/subject/pbpysqtx.html