美文网首页
第七章----RabbitMQ集群和镜像队列

第七章----RabbitMQ集群和镜像队列

作者: 枫子夜 | 来源:发表于2020-04-17 16:48 被阅读0次

    1. 集群简介

    1. RabbitMQ 集群中的所有节点都会备份所有的元数据信息:

      • 队列元数据: 队列的名称及属性
      • 交换器: 交换器的名称及属性
      • 绑定关系元数据: 交换器与队列或者交换器与交换器之间的绑定关系
      • vhost元数据: 为vhost 内的队列、交换器和绑定提供命名空间及安全属性
    集群存储关系

    2. RabbitMQ 节点类型:磁盘节点(disc)(默认)、内存节点(ram)

    内存节点将所有的队列、交换器、绑定关系、用户、权限和vhost的元数据定义都存储在内存中,而磁盘节点则将这些信息存储到磁盘中。

    如果集群中唯一的磁盘节点宕机,集群虽然可以保持收发消息但不能进行执行创建队列、交换器、绑定关系、用户,以及更改权限、添加或删除集群节点的操作。

    在内存节点重启后,它们会连接到预先配置的磁盘节点,下载当前集群元数据的副本。

    2. 单机多节点

    在一台机器上部署多个RabbitMQ 服务节点,需要确保每个节点都有独立的名称、数据存储位置、端口号(包括插件的端口号)等。

    以一台机器运行3个rabbit节点为例,确保这台机器已经正常运行rabbit,首先停掉rabbit服务,关闭可视化页面插件,然后开始启动多节点搭建集群。

    • 设置名称、端口 启动rabbit三个节点
    RABBITMQ_NODENAME=rabbit1 RABBITMQ_NODE_PORT=5672 rabbitmq-server -detached
    RABBITMQ_NODENAME=rabbit2 RABBITMQ_NODE_PORT=5673 rabbitmq-server -detached
    RABBITMQ_NODENAME=rabbit3 RABBITMQ_NODE_PORT=5674 rabbitmq-server -detached
    
    # 如果需要开启可视化页面插件 上面执行语句需加上这句话配置不同端口号
    RABBITMQ_SERVER_START_ARGS="-rabbitmq_management listener [{port , 15672}] "
    
    • 把rabbit2以内存节点身份加入到集群中
    rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z stop_app
    rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z reset
    rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
    rabbitmqctl -n rabbit2@iZm5e5v1gnvihwh0k62o37Z start_app
    
    • 把rabbit3以内存节点身份加入到集群中
    rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z stop_app
    rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z reset
    rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z join_cluster rabbit1@iZm5e5v1gnvihwh0k62o37Z --ram
    rabbitmqctl -n rabbit3@iZm5e5v1gnvihwh0k62o37Z start_app
    
    • 开启rabbit1的可视化页面插件
    rabbitmq-plugins -n rabbit1 enable rabbitmq_management
    
    • 查看集群
    rabbitmqctl -n rabbit1 cluster_status
    

    至此RabbitMQ单机多节点集群搭建完毕!

    3. 多机多节点集群

    准备3台物理机,分别安装好rabbit,主机名为:rabbit1、rabbit2、rabbit3。RabbitMQ集群对延迟非常敏感,应当只在本地局域网内使用。

    • 配置各个节点的hosts 文件
    vim /etc/hosts
    
    192.168.89.101 rabbit1
    192.168.89.102 rabbit2
    192.168.89.103 rabbit3
    
    • 复制RabbitMQ 的cookie 文件到各个节点,cookie 相当于密钥令牌,集群中的RabbitMQ 节点需要通过交换密钥令牌以获得相互认证。
    # 位置
    /var/lib/rabbitmq/.erlang.cookie
    
    • 启动各个节点
    systemctl  start rabbitmq-server.service 
    
    • 配置rabbit2加入rabbit1集群
    # 停止节点中的 RabbitMQ 应用程序
    rabbitmqctl stop_app
    
    # 清空节点状态
    rabbitmqctl reset
    
    # 将 rabbit2加入rabbit1集群
    rabbitmqctl join_cluster rabbit@rabbit1
    
    # 启动节点中的 RabbitMQ 应用程序
    rabbitmqctl start_app
    
    • 配置rabbit3加入rabbit1集群
    # 停止节点中的 RabbitMQ 应用程序
    rabbitmqctl stop_app
    
    # 清空节点状态
    rabbitmqctl reset
    
    # 将 rabbit3加入rabbit1集群 --ram 以内存节点加入
    rabbitmqctl join_cluster rabbit@rabbit1 --ram
    
    # 启动节点中的 RabbitMQ 应用程序
    rabbitmqctl start_app
    
    • 查看集群状态
    rabbitmqctl cluster_status
    
    • 修改节点类型
    # 停止节点中的 RabbitMQ 应用程序
    rabbitmqctl stop_app
    
    # 更改节点类型 disc ram
    rabbitmqctl change_cluster_node_type disc
    
    # 启动节点中的 RabbitMQ 应用程序
    rabbitmqctl start_app
    
    • 删除集群节点
    # 停止节点中的 RabbitMQ 应用程序
    rabbitmqctl stop_app
    
    # 清空节点状态
    rabbitmqctl reset
    
    # 启动节点中的 RabbitMQ 应用程序
    rabbitmqctl start_app
    

    4. 镜像队列

    为了实现高可用,RabbitMQ提供了镜像队列机制,所谓镜像队列其实就是在另外一个RabbitMQ服务器Broker存放一个该队列的一个拷贝队列,实现队列内消息的冗余存储。该模式带来的副作用也很明显,随着镜像队列越来越多,会大大消耗掉系统性能。
    镜像队列解决的是消息高可用问题,而不是基于负载均衡实现的高吞吐量问题。高吞吐量主要是通过RabbitMQ集群来实现的。

    1. 在控制台配置镜像策略

    配置镜像队列
    • Name: policy的名称
    • Pattern: queue的匹配模式(正则表达式)
    • Apply to:使用对象
    • Priority: 可选参数, policy的优先级
    • Definition: 镜像定义,包括三个部分 ha-mode,ha-params,ha-sync-mode
      1. ha-mode: 指明镜像队列的模式
        • all:表示在集群所有的节点上进行镜像
        • exactly:表示在指定个数的节点上进行镜像,节点的个数由ha-params指定
        • nodes:表示在指定的节点上进行镜像,节点名称通过ha-params指定
      2. ha-params: ha-mode模式需要用到的参数
      3. ha-sync-mode: 镜像队列中消息的同步方式,有效值为automatic,manually

    2. 用命令配置镜像队列

    rabbitmqctl  set_policy  fzb-ha  "^hello"  '{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"}'
    

    3. 镜像队列机制

    镜像队列机制是基于Master-Slave主从模式的,镜像队列所有操作都是只能在Master节点进行操作,产者发布消息到队列,分发消息给消费者,跟踪消费者的消费确认ACK,消费者不管连接的哪个节点最终都会转发到Master节点,然后将这些操作对应的消息由Master节点广播同步给其他节点。

    在某种程度上你可以理解镜像队列拥有一个隐藏的fanout交换器,它指示着信道将消息分发到队列的从拷贝上。

    传播行为

    Master节点宕机时,会从所有slave节点中选择最早加入这个镜像队列集合的slave作为新的master。


    不畏失败,不畏挑战

    相关文章

      网友评论

          本文标题:第七章----RabbitMQ集群和镜像队列

          本文链接:https://www.haomeiwen.com/subject/fahdvhtx.html