美文网首页
Rocket MQ 安装部署( 一)

Rocket MQ 安装部署( 一)

作者: Anson前行 | 来源:发表于2018-02-09 11:38 被阅读249次

    Rocket MQ 介绍:

    1.要知道RocketMQ原生就是支持分布式的,而ActiveMQ原生存在单点性。

    2.RocketMQ可以保证严格的消息顺序,而ActiveMQ无法保证!

    3.RocketMQ提供亿级消息的堆积能力,这不是重点,重点是堆积了亿级的消息后,依然保持写入低延迟!

    4.丰富的消息拉取模式(Push or Pull)

    Push好理解,比如在消费者端设置Listener回调;而Pull,控制权在于应用,即应用需要主动的调用拉消息方法从Broker获取消息,这里面存在一个消费位置记录的问题(如果不记录,会导致消息重复消费)。

    5.在Metaq1.x/2.x的版本中,分布式协调采用的是Zookeeper,而RocketMQ自己实现了一个NameServer,更加轻量级,性能更好!

    6.消息失败重试机制、高效的订阅者水平扩展能力、强大的API、事务机制等等(后续详细介绍)

    安装模式

    RocketMQ的Broker集群部署模式还挺多的,比如单Master模式、多Master模式、多Master多Slave模式(异步复制)、多Master多Slave模式(同步双写)等。明确个概念,RocketMQ Slave不可以写,可以读,类似于MySQL的主从机制。

    配置的目录说明:

    2m-noslave: 多Master模式

    2m-2s-sync: 多Master多Slave模式,同步双写

    2m-2s-async:多Master多Slave模式,异步复制

    单Master模式:

    无需多言,一旦单个broker重启或宕机,一切都结束了!很显然,线上不可以使用。

    多Master模式:

    全是Master,没有Slave。当然,一个broker宕机了,应用是无影响的,缺点在于宕机的Master上未被消费的消息在Master没有恢复之前不可以订阅。

    多Master多Slave模式(异步复制):

    多对Master-Slave,高可用!采用异步复制的方式,主备之间短暂延迟,MS级别。Master宕机,消费者可以从Slave上进行消费,不受影响,但是Master的宕机,会导致丢失掉极少量的消息。

    多Master多Slave模式(同步双写):

    和上面的区别点在于采用的是同步方式,也就是在Master/Slave都写成功的前提下,向应用返回成功,可见不论是数据,还是服务都没有单点,都非常可靠!缺点在于同步的性能比异步稍低。

    环境:

    centos6.8

    jdk1.7

    Rocket MQ 3.26.tar

    所有解压步骤省略

    1.指定jdk和MQ变量

    vim /etc/profile

    export JAVA_HOME=/usr/lib/java/jdk1.7.0_80

    export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    export ROCKETMQ_HOME=/aebiz/soft/alibaba-rocketmq

    export PATH=$JAVA_HOME/bin:$ROCKETMQ_HOME/bin:$PATH

    source /etc/profile

    2.添加hosts主机信息

    vim /etc/hosts

    192.168.3.244 rocketmq-nameserver1

    192.168.3.244 rocketmq-master1

    192.168.3.241 rocketmq-nameserver2

    192.168.3.241 rocketmq-master2

    ping rocketmq-nameserver1

    ping rocketmq-nameserver2

    3.解压完创建软连接

    ln -s alibaba-rocketmq rocketmq

    创建存储路径

    mkdir rocketmq/data

    mkdir rocketmq/data/commitlog

    mkdir rocketmq/data/consumerqueue

    mkdir rocketmq/data/index

    4.修改配置文件,有两个master主节点,所以主节点1启动依赖broker-a.properties, 主节点2启动依赖broker-b.properties,如果是三个Master,那么还会有一个broker-c.properties,以此类推。 

    vim  rocketmq/conf/2m-noslave/broker-a.properties 

    ##另一台修改broker-b. properties 

    #所属集群名字

    brokerClusterName=rocketmq-cluster

    #broker名字,注意此处不同的配置文件填写的不一样

    brokerName=broker-a|broker-b

    #0 表示 Master, >0 表示 Slave

    brokerId=0

    #nameServer地址,分号分割

    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876

    #在发送消息时,自动创建服务器不存在的topic,默认创建的队列数

    defaultTopicQueueNums=4

    #是否允许 Broker 自动创建Topic,建议线下开启,线上关闭

    autoCreateTopicEnable=true

    #是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭

    autoCreateSubscriptionGroup=true

    #Broker 对外服务的监听端口

    listenPort=10911

    #删除文件时间点,默认凌晨 0点

    deleteWhen=00

    #文件保留时间,默认 48 小时

    fileReservedTime=120

    #commitLog每个文件的大小默认1G

    mapedFileSizeCommitLog=1073741824

    #ConsumeQueue每个文件默认存30W条,根据业务情况调整

    mapedFileSizeConsumeQueue=300000

    #destroyMapedFileIntervalForcibly=120000

    #redeleteHangedFileInterval=120000

    #检测物理文件磁盘空间

    diskMaxUsedSpaceRatio=88

    #存储路径

    storePathRootDir=/opt/rocketmq/data

    #commitLog 存储路径

    storePathCommitLog=/opt/rocketmq/data/commitlog

    #消费队列存储路径存储路径

    storePathConsumeQueue=/opt/rocketmq/data/consumequeue

    #消息索引存储路径

    storePathIndex=/opt/rocketmq/data/index

    #checkpoint 文件存储路径

    storeCheckpoint=/opt/rocketmq/data/checkpoint

    #abort 文件存储路径

    abortFile=/opt/rocketmq/data/abort

    #限制的消息大小

    maxMessageSize=65536

    #flushCommitLogLeastPages=4

    #flushConsumeQueueLeastPages=2

    #flushCommitLogThoroughInterval=10000

    #flushConsumeQueueThoroughInterval=60000

    #Broker 的角色

    #- ASYNC_MASTER 异步复制Master

    #- SYNC_MASTER 同步双写Master

    #- SLAVE

    brokerRole=ASYNC_MASTER

    #刷盘方式

    #- ASYNC_FLUSH 异步刷盘

    #- SYNC_FLUSH 同步刷盘

    flushDiskType=ASYNC_FLUSH

    #checkTransactionMessageEnable=false

    #发消息线程池数量

    #sendMessageThreadPoolNums=128

    #拉消息线程池数量

    #pullMessageThreadPoolNums=128

    5.修改日志配置文件

    在创建的软连接文件夹rocketmq下创建一个logs目录

    mkdir /opt/rocketmq/logs

    cd /opt/rocketmq/conf

    sed -i 's#${user.home}#/opt/rocketmq#g' *.xml 进行日志文件的替换

    6.修改启动脚本参数(JVM参数的调优)

    因为我们之前将nameServer和broker放在了同一台机器上,所以需要分别对nameServer和broker进行jvm的性能调优。生产环境默认即可不要修改。

    1)broker的调优

    vi /opt/rocketmq/bin/runbroker.sh

    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

    2)nameserver的调优

    vi /opt/rocketmq/bin/runserver.sh

    JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn512m - XX:PermSize=128m -XX:MaxPermSize=320m"

    7.启动两台机器的NameServer:先启动两台机器的NameServer,再启动两台机器的Borker,关机的时候顺序相反,先关闭两台机器的Broker,再关闭两台机器的Nameserver。

    nohup sh mqnamesrv &

    mqadnin是管理员命令,mqfiltersrv是rocketmq的单独组件,mqnamesrv是NameServer,mqbroker是Broker。

    jps 查看进程

    # tail -f -n 500 /opt/rocketmq/logs/rocketmqlogs/broker.log

    # tail -f -n 500 /opt/rocketmq/logs/rocketmqlogs/namesrv.log

    8.启动两台机器的borker

    ##启动BrokerServer A 

    nohup sh mqbroker -c /opt/rocketmq/conf/2m-noslave/broker-a.properties >/dev/null 2>&1 &

    jps

    15021 BrokerStartup

    16339 Jps

    29527 jar

    14983 NamesrvStartup

    ##查看日志输出

    tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

    tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

    ##启动BrokerServer B 

    nohup sh mqbroker -c /opt/rocketmq/conf/2m-noslave/broker-b.properties >/dev/null 2>&1 &

    ##查看后台java程序

        jps

    15021 BrokerStartup

    16339 Jps29527 jar

    14983 NamesrvStartup

    ##查看日志输出

    tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/broker.log

    tail -f -n 500 /usr/local/rocketmq/logs/rocketmqlogs/namesrv.log

    成功

    9.收发消息测试

    环境变量

    export NAMESRV_ADDR=192.168.3.244:9876;

    ##启动生产者

    sh tools.sh com.alibaba.rocketmq.example.simple.Producer

    ##启动消费者

    sh tools.sh com.alibaba.rocketmq.example.simple.PushConsumer

    生产者 消费者

    参考博客

    https://www.cnblogs.com/wrong5566/p/6078592.html

    https://www.jianshu.com/p/3afd610a8f7d?from=jiantop.com

    相关文章

      网友评论

          本文标题:Rocket MQ 安装部署( 一)

          本文链接:https://www.haomeiwen.com/subject/gqrftftx.html