美文网首页
RabbitMQ for Node 官方文档笔录

RabbitMQ for Node 官方文档笔录

作者: 陆遥远 | 来源:发表于2019-06-18 13:58 被阅读0次

    Step 1 实现Producer 和 Consumer

    Producer
    Producer的代码

    // new_task.js 每次启动后往队列中发送一条task
    var amqp = require('amqplib/callback_api');
    amqp.connect('amqp://localhost',function(err,conn){
        conn.createChannel(function(err,ch){
            var q = 'test_queue';
            var msg = 'New Task!';
            ch.assertQueue(q, {durable:true});
            // 发送消息
            ch.sendToQueue(q, new Buffer(msg), {persistent: true});
            console.log('[x]Sent \'%s\'',msg);
        }); 
    });
    

    Consumer
    Consumer的代码

    // worker.js模拟一个消费者,监听并接收MQ分配给自己的task。
    var amqp = require('amqplib/callback_api');
    amqp.connect('amqp://localhost',function(err,conn){
        conn.createChannel(function(err, ch){
            var q = 'test_queue';
            ch.assertQueue(q, {durable:true});
            // 监听MQ发送的消息,并在calback中处理
            ch.consume(q, function(msg){
                var secs = msg.content.toString().split('.').length -1;
                console.log('[x] Received %s',msg.content.toString());
                // 模拟处理时间
                setTimeout(function(){
                    console.log('[x] Done');
                },secs * 1000);
            },{noAck: true});
        });
    });
    
    

    启动步骤

    打开多个控制台,启动多个worker.js。
    启动多次new_task.js,向MQ中发送多条信息。
    

    结果:每个worker依次接收到任务并打印。

    默认情况下,RabbitMQ将按顺序将每条消息发送给下一个消费者。
    平均而言,每个消费者将获得相同数量的消息。这种分发消息的方式称为循环法。
    

    问题:在实际应用中,上述程序存在一些问题

    每个任务都会消耗一定的时间,这个时间是不确定的。
    上面的程序中,当worker领取任务后,消息便会从MQ中弹出,不论是否执行成功。若执行失败,则任务丢失。
    

    解决方案:使用消息确认解决。

    Step 2 使用消息确认机制
    为了确保消息永不丢失,RabbitMQ支持消息确认

    消费者发回ack(acknowledgement)告诉RabbitMQ已收到,处理了特定消息,RabbitMQ可以自由删除它。
    如果Consumer死亡(其通道关闭,连接关闭或TCP连接丢失)而不发送ack,RabbitMQ会将该消息重新排队。如果其他消费者同时在线,则会迅速将其重新发送给其他消费者。这样就可以确保没有消息丢失,即使Consumer偶尔会死亡。

    实现原理

    • 使用consume方法的noAck属性,将其设置成false开启消息确认。
      然后调用Chanel.ack(MSG)方法应答MQ
    代码如下
    ch.consume(q, function(msg){ 
        // ...do something sync
        setTimeout(function(){
            // ...do something async
            ch.ack(MSG) // 发送ack
        },1000);
     },{noAck: true}); // 开启ack
    

    注意:确认必须在收到的交付的同一信道上发送。尝试使用不同的通道进行确认将导致通道级协议异常。

    Step3 消息持久化

    • 当RabbitMQ退出或崩溃时,它将丢失队列和消息。要确保消息不会丢失,我们需要将队列和消息都标记为持久。
      开启队列的持久化
    // 声明队列时,设置durable属性为true开启队列持久化
    ch.assertQueue('hello', {durable: true}); 
    
    开启消息的持久化
    // 发送消息时,设置persistent属性为true,让RabbitMQ持久化当前消息
    ch.sendToQueue(q, new Buffer(msg), {persistent: true});
    
    

    有关消息持久化的注意事项

    注意:将消息标记为持久性并不能完全保证消息不会丢失。虽然它告诉RabbitMQ将消息保存到磁盘,但是当RabbitMQ接受消息并且尚未保存消息时,仍然有一个短时间窗口期。如果需要更强的保证,那么可以使用 发布者确认。

    Step4 公平派遣任务
    问题

    • 平均依次分配任务不能保证每个worker接收到相同分量的任务。当出现一些任务很重,另一些很轻时,经常会出现一个worker将经常忙碌而另一个worker经常空闲。

    • 解决方案

    • 使用prefetch方法控制worker同时最多接收的任务数量。当worker待处理的任务达到最大数量时,MQ不会向其发送新任务,而是会向空闲的worker发送新任务。使用这种机制可以达到负载均衡的效果。
    Consumer(Worker)的代码
    // ...imports
    amqp.connect('amqp://localhost',function(err,conn){
        conn.createChannel(function(err,ch){
            var q = 'task_queue';
            ch.prefetch(1); // 当有一个任务未完成时,不再接受新任务
            ch.consume(q,function(msg){
                // ...do something 
                setTimeout(()=>{
                    // ...do something async
                     ch.ack(MSG); // 确认执行完毕
                },1000);
            },{noAck:false});
        });
    });
    

    相关文章

      网友评论

          本文标题:RabbitMQ for Node 官方文档笔录

          本文链接:https://www.haomeiwen.com/subject/kqoxqctx.html