RabbitMq

作者: essential_note | 来源:发表于2017-11-16 16:05 被阅读0次

    1. 消息队列

    消息队列中间件是分布式系统中重要组件,主要解 决应用耦合,异步消息,流量消锋等问题。实现高性能,高可用,可伸缩和最终一致性结构。是大型分布式系统不可缺少的中间件。

    2. 消息队列应用场景

    2.1 异步处理

    异步读取消息队列,节省时间开支,提高吞吐量。


    820332-20160124211106000-2080222350.png
    2.2 应用耦合

    传统方案中,订单系统调用库存系统接口,当库存系统无法访问时,订单系统失败、导致订单失败。系统耦合问题。引入消息队列后,即使不能正常使用,也不会影响下单,实现订单系统与库存系统解耦。

    2.3 流量消锋

    秒杀活动:流量多大、暴增导致应用挂机,消息队列可控制活动的人数、环节短时间内流量压垮应用

    2.4 日志处理

    karka消息队列

    2.5 消息通讯

    点对点聊天

    3. mq对比

    • 从社区活跃度来看,RabbitMq最高
    • ActiveMq与RabbitMq支持持久化
    • 可靠性、灵活的路由、集群、事物与高可用的队列、消息排序、问题追踪、可视化管理工具等RabbitMq/Karaf最好。
    • 高并发RabbitMq最好,实现语言就是具备高并发高可用的erlang语言。
    • 在可用性、稳定性、可靠性上,理论上Rabbitmq(业务方面)胜于KafKa(日志方面),

    4. RabbitMQ实现原理 参考来源

    820332-20160124211106000-2080222350.png
    系统架构

    Rabbitmq系统最核心的组件是Exchange和Queue,下图是系统简单的示意图。Exchange和Queue是在rabbitmq server(又叫做broker)端,producer和consumer在应用端。

    producer&Consumer

    producer指的是消息生产者,consumer消息的消费者。

    Queue

    消息队列,提供了FIFO的处理机制,具有缓存消息的能力rabbitmq中,队列消息可以设置为持久化,临时或者自动删除。

    1. 设置为持久化的队列,queue中的消息会在server本地硬盘存储一份,防止系统crash,数据丢失
    2. 设置为临时队列,queue中的数据在系统重启之后就会丢失
    3. 设置为自动删除的队列,当不存在用户连接到server,队列中的数据会被自动删除
    Exchange

    Exchange类似于数据通信网络中的交换机,提供消息路由策略。rabbitmq中,producer不是通过信道直接将消息发送给queue,而是先发送给Exchange。一个Exchange可以和多个Queue进行绑定,producer在传递消息的时候,会传递一个ROUTING_KEY,Exchange会根据这个ROUTING_KEY按照特定的路由算法,将消息路由给指定的queue。和Queue一样,Exchange也可设置为持久化,临时或者自动删除。
    Exchange有4种类型:direct(默认),fanout, topic, 和headers,不同类型的Exchange转发消息的策略有所区别:

    1. Direct

    直接交换器,工作方式类似于单播,Exchange会将消息发送完全匹配ROUTING_KEY的Queue

    1. fanout

    广播是式交换器,不管消息的ROUTING_KEY设置为什么,Exchange都会将消息转发给所有绑定的Queue。

    1. topic

    主题交换器,工作方式类似于组播,Exchange会将消息转发和ROUTING_KEY匹配模式相同的所有队列,比如,ROUTING_KEY为user.stock的Message会转发给绑定匹配模式为 * .stock,user.stock, * . * 和#.user.stock.#的队列。( * 表是匹配一个任意词组,#表示匹配0个或多个词组)

    1. headers

    消息体的header匹配(ignore)

    Binding

    所谓绑定就是将一个特定的 Exchange 和一个特定的 Queue 绑定起来。Exchange 和Queue的绑定可以是多对多的关系。

    virtual host

    在rabbitmq server上可以创建多个虚拟的message broker,又叫做virtual hosts (vhosts)。每一个vhost本质上是一个mini-rabbitmq server,分别管理各自的exchange,和bindings。vhost相当于物理的server,可以为不同app提供边界隔离,使得应用安全的运行在不同的vhost实例上,相互之间不会干扰。producer和consumer连接rabbit server需要指定一个vhost。

    通信过程

    假设P1和C1注册了相同的Broker,Exchange和Queue。P1发送的消息最终会被C1消费。基本的通信流程大概如下所示:

    1. P1生产消息,发送给服务器端的Exchange
    2. Exchange收到消息,根据ROUTINKEY,将消息转发给匹配的Queue1
    3. Queue1收到消息,将消息发送给订阅者C1
    4. C1收到消息,发送ACK给队列确认收到消息
    5. Queue1收到ACK,删除队列中缓存的此条消息

    Consumer收到消息时需要显式的向rabbit broker发送basic.ack消息或者consumer订阅消息时设置auto_ack参数为true。在通信过程中,队列对ACK的处理有以下几种情况:

    1. 如果consumer接收了消息,发送ack,rabbitmq会删除队列中这个消息,发送另一条消息给consumer。
    2. 如果cosumer接受了消息, 但在发送ack之前断开连接,rabbitmq会认为这条消息没有被deliver,在consumer在次连接的时候,这条消息会被redeliver。
    3. 如果consumer接受了消息,但是程序中有bug,忘记了ack,rabbitmq不会重复发送消息。
    4. rabbitmq2.0.0和之后的版本支持consumer reject某条(类)消息,可以通过设置requeue参数中的reject为true达到目地,那么rabbitmq将会把消息发送给下一个注册的consumer。

    相关文章

      网友评论

          本文标题:RabbitMq

          本文链接:https://www.haomeiwen.com/subject/cjflvxtx.html