Step 1 实现Producer 和 Consumer
Producer
Producer的代码
// new_task.js 每次启动后往队列中发送一条task
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
conn.createChannel(function(err,ch){
var q = 'test_queue';
var msg = 'New Task!';
ch.assertQueue(q, {durable:true});
// 发送消息
ch.sendToQueue(q, new Buffer(msg), {persistent: true});
console.log('[x]Sent \'%s\'',msg);
});
});
Consumer
Consumer的代码
// worker.js模拟一个消费者,监听并接收MQ分配给自己的task。
var amqp = require('amqplib/callback_api');
amqp.connect('amqp://localhost',function(err,conn){
conn.createChannel(function(err, ch){
var q = 'test_queue';
ch.assertQueue(q, {durable:true});
// 监听MQ发送的消息,并在calback中处理
ch.consume(q, function(msg){
var secs = msg.content.toString().split('.').length -1;
console.log('[x] Received %s',msg.content.toString());
// 模拟处理时间
setTimeout(function(){
console.log('[x] Done');
},secs * 1000);
},{noAck: true});
});
});
启动步骤
打开多个控制台,启动多个worker.js。
启动多次new_task.js,向MQ中发送多条信息。
结果:每个worker依次接收到任务并打印。
默认情况下,RabbitMQ将按顺序将每条消息发送给下一个消费者。
平均而言,每个消费者将获得相同数量的消息。这种分发消息的方式称为循环法。
问题:在实际应用中,上述程序存在一些问题
每个任务都会消耗一定的时间,这个时间是不确定的。
上面的程序中,当worker领取任务后,消息便会从MQ中弹出,不论是否执行成功。若执行失败,则任务丢失。
解决方案:使用消息确认解决。
Step 2 使用消息确认机制
为了确保消息永不丢失,RabbitMQ支持消息确认
消费者发回ack(acknowledgement)告诉RabbitMQ已收到,处理了特定消息,RabbitMQ可以自由删除它。
如果Consumer死亡(其通道关闭,连接关闭或TCP连接丢失)而不发送ack,RabbitMQ会将该消息重新排队。如果其他消费者同时在线,则会迅速将其重新发送给其他消费者。这样就可以确保没有消息丢失,即使Consumer偶尔会死亡。
实现原理
- 使用consume方法的noAck属性,将其设置成false开启消息确认。
然后调用Chanel.ack(MSG)方法应答MQ
代码如下
ch.consume(q, function(msg){
// ...do something sync
setTimeout(function(){
// ...do something async
ch.ack(MSG) // 发送ack
},1000);
},{noAck: true}); // 开启ack
注意:确认必须在收到的交付的同一信道上发送。尝试使用不同的通道进行确认将导致通道级协议异常。
Step3 消息持久化
- 当RabbitMQ退出或崩溃时,它将丢失队列和消息。要确保消息不会丢失,我们需要将队列和消息都标记为持久。
开启队列的持久化
// 声明队列时,设置durable属性为true开启队列持久化
ch.assertQueue('hello', {durable: true});
开启消息的持久化
// 发送消息时,设置persistent属性为true,让RabbitMQ持久化当前消息
ch.sendToQueue(q, new Buffer(msg), {persistent: true});
有关消息持久化的注意事项
注意:将消息标记为持久性并不能完全保证消息不会丢失。虽然它告诉RabbitMQ将消息保存到磁盘,但是当RabbitMQ接受消息并且尚未保存消息时,仍然有一个短时间窗口期。如果需要更强的保证,那么可以使用 发布者确认。
Step4 公平派遣任务
问题
-
平均依次分配任务不能保证每个worker接收到相同分量的任务。当出现一些任务很重,另一些很轻时,经常会出现一个worker将经常忙碌而另一个worker经常空闲。
-
解决方案
- 使用prefetch方法控制worker同时最多接收的任务数量。当worker待处理的任务达到最大数量时,MQ不会向其发送新任务,而是会向空闲的worker发送新任务。使用这种机制可以达到负载均衡的效果。
Consumer(Worker)的代码
// ...imports
amqp.connect('amqp://localhost',function(err,conn){
conn.createChannel(function(err,ch){
var q = 'task_queue';
ch.prefetch(1); // 当有一个任务未完成时,不再接受新任务
ch.consume(q,function(msg){
// ...do something
setTimeout(()=>{
// ...do something async
ch.ack(MSG); // 确认执行完毕
},1000);
},{noAck:false});
});
});
网友评论