多消费者与预取控制
🎯 引言
前面的示例用 delay(5000) 等待五秒,模拟订单处理耗时,方便观察消息被领取和确认的过程。任务多时,可以再启动一个相同的消费者,让两个程序分担工作。本篇先验证它们如何领取同一队列中的任务,再调整预取数量,观察一个消费者能同时持有多少条未确认消息。
🧱 两个消费者怎样分担任务
两个订单程序都读取 work.order。RabbitMQ 每次把一条消息投递给其中一个消费者,让它负责处理;不会因为启动了两个程序,就给两个程序各发一份。前面的发布订阅篇使用多个队列给不同业务各留一份消息,这里的目的则是共同处理一份订单任务。
worker.mjs 已经在订阅之前设置:
await channel.prefetch(1);
预取数量限制消费者同时持有的未确认消息数。设为 1 后,消费者领到一条消息,RabbitMQ 就先不再给它投递;收到这条消息的确认后,才有空位继续投递。
本例使用手动确认,且每个进程只创建一个消费者:
| 运行方式 | 最多同时持有的未确认消息 |
|---|---|
| 一个消费者,预取为 1 | 1 条 |
| 两个消费者,各自预取为 1 | 每个 1 条,共 2 条 |
| 一个消费者,预取为 3 | 3 条 |
这个上限不限制队列中等待的消息总量。这里采用 RabbitMQ 默认的每个消费者分别限制的方式,见官方预取说明。
🛠 让两个程序分担三条任务
沿用消费确认篇的 worker.mjs、send-work.mjs 和 config.mjs,无需重写收发代码。先让旧任务处理完,再停止所有 worker。
在 worker.mjs 中把 delay(5000) 临时改为 delay(30000),保持 prefetch(1) 和 noAck: false。三十秒等待是为了留足启动第二个程序、观察日志的时间。
没有 worker 运行时,先提交三条任务:
node send-work.mjs P2001
node send-work.mjs P2002
node send-work.mjs P2003
随后在两个终端分别执行同一条命令,在第一个程序打印“完成”之前启动第二个:
node worker.mjs
两份程序的日志都以进程编号开头,可以据此区分是谁领取了任务。按下面三个阶段观察:
| 阶段 | 应看到什么 |
|---|---|
| 两个程序都已启动,尚未完成任务 | 各打印一条“开始”,第三条任务仍在队列中等待 |
| 其中一个程序完成任务并确认 | 有空位的消费者领取第三条,打印新的“开始” |
| 三条任务都处理结束 | 两个终端合计打印三条“完成” |
不要求某个编号一定分给某个程序,也不要求严格轮流。只核对 P2001、P2002、P2003 在本轮正常运行中各完成一次。若第二个程序启动太晚,先让这一轮结束,再换新编号重做。
⚖️ 一个消费者预取三条会怎样
等上一轮三条任务都完成,再停止两个 worker。将 prefetch(1) 改为 prefetch(3),保留三十秒等待,先提交三条新任务:
node send-work.mjs P2011
node send-work.mjs P2012
node send-work.mjs P2013
这次只启动一个 worker:
node worker.mjs
通常会先连续看到三条“开始”,约三十秒后再看到三条“完成”。原因分为两步:预取为 3,RabbitMQ 可以投递三条尚未确认的消息;当前代码使用异步等待,一个回调等待时,另外两条消息的回调也能开始执行。
因此,预取数量控制的是“允许领多少条”,实际怎样处理还取决于代码。它不会创建新的 JavaScript 线程;如果回调在进行占用线程的计算,提高预取不会让这些计算自动同时执行。
也不能认定预取越大越好。如果每条任务都要访问数据库,同时处理更多条就可能给数据库带来更大压力。应对比完成任务的速度和下游负载,再决定是否调大。
本轮完成后停止 worker,将预取恢复为 1、等待恢复为 delay(5000)。文件修改在下次启动时生效。
❓ 知识问答
Q1:预取为 0,是不领取消息吗?
不是,0 表示不设置这个未确认消息数量上限。
Q2:多个消费者一定按发送顺序完成吗?
不一定。不同任务耗时不同,后领取的任务可能先完成;不要依赖两个程序的完成顺序实现业务顺序。
🧪 小练习
停止所有 worker,将预取改为 2、等待改为三十秒。在没有旧任务时先发送三条新任务,再只启动一个 worker:
node send-work.mjs P2021
node send-work.mjs P2022
node send-work.mjs P2023
node worker.mjs
预期先出现两条“开始”;至少有一条任务完成并确认后,才出现第三条“开始”。解释为什么第三条不能一开始就被领取。
等三条全部完成后停止 worker,把预取恢复为 1、等待恢复为五秒,供下一篇使用。
🎉 你已经能区分消费者数量与预取数量,并通过日志观察它们怎样影响任务分担了!
