任务并发与速率限制
🎯 引言
学完本文,你能让 Worker 同时处理多项任务,并限制队列在一段时间内启动的任务数量。
沿用 BullMQ 快速入门 的 Redis 配置与 queue-config.mjs。本课程使用 BullMQ 5.61.2。
🧱 并发与速率限制的区别
并发限制同一时刻有多少项任务正在处理;速率限制同一段时间内最多启动多少项任务。前者控制同时占用的资源,后者控制短时间内的启动频率。
例如,文件处理受内存限制时应控制并发;调用外部服务有每分钟请求上限时应限制速率。两种限制可以同时使用。
⚡ Worker 并发数量
concurrency 是单个 Worker 可同时处理的 Job 数量。为了观察处理重叠,创建 concurrent-worker.mjs:
import { Worker } from 'bullmq';
import { setTimeout as delay } from 'node:timers/promises';
import { connection, queueName } from './queue-config.mjs';
async function processJob(job) {
console.log('开始:', job.id);
await delay(2000);
console.log('完成:', job.id);
}
const worker = new Worker(queueName, processJob, {
connection: { ...connection, maxRetriesPerRequest: null },
concurrency: 2,
});
worker.on('failed', (job, error) => console.error(job?.id, error.message));
worker.on('error', error => console.error(error.message));
process.once('SIGINT', async () => { await worker.close(); });
这里等待 2 秒只是模拟一项会等待的任务。并发值 2 表示 Worker 至多同时处理两个 Job,不表示 JavaScript 同步计算自动使用两个 CPU 核心。
先提交三次,再运行 Worker:
node add-job.mjs
node add-job.mjs
node add-job.mjs
node concurrent-worker.mjs
终端通常先出现两条“开始”,其中一个任务结束后才开始第三项。完成顺序可能与提交顺序不同。
🧰 多个 Worker 的任务分工
同一队列可有多个 Worker 共同领取任务。每个 Worker 的并发设置分别生效,因此两个 concurrency: 2 的 Worker 最多可能同时执行四项工作。
适合任务等待网络或文件操作、并且下游有足够处理能力的场景。增加 Worker 前先确认数据库连接数、内存或外部服务额度承受得住;扩容并发也可能放大下游压力。
CPU 密集型任务会占住 JavaScript 执行线程,单纯增加同一进程的并发数未必带来并行计算能力。需要更多 CPU 处理能力时,应使用独立进程或专门的线程处理方式。
🚦 队列速率限制
BullMQ 的队列限流可以控制全队列的启动速率,而不只是限制某一个 Worker。适合外部接口规定每秒请求上限的场景。
将下面选项加入 concurrent-worker.mjs 的 Worker 配置:
limiter: {
max: 5,
duration: 1000,
},
max 表示时间窗口内最多启动的任务数,duration 以毫秒计。此配置让队列每秒最多启动 5 项任务;任务完成速度还取决于并发数和实际处理耗时。
BullMQ 5 中,limiter 是 Worker 配置,但额度按队列统一协调;同一队列的多个 Worker 共用这个速率上限。BullMQ 限流说明
🧰 根据任务与下游能力选择配置
并发应根据单项任务会占用的资源来定,速率上限应依据外部服务的额度来定。观察等待任务数、处理中数量和下游错误,再逐步调整;不要只凭 CPU 空闲就持续提高并发。
❓ 知识问答
Q1:并发设为 5,是否保证每秒只运行 5 个任务?
不能。它限制同时处理中任务数;速率限制才约束时间窗口内启动数量。
Q2:启动两个并发为 3 的 Worker,全队列并发是多少?
在没有其他限制时,最多可能同时处理 6 项任务。
Q3:CPU 密集型任务能只靠提高 concurrency 加速吗?
不一定。同一 JavaScript 线程执行 CPU 计算时,其他任务的处理回调也会等待。
🧪 小练习
先设置 concurrency: 1,再设置为 3,提交多项任务并比较“开始”和“完成”日志的交错情况。
// 请在这里编写代码
🎉 恭喜你已经掌握并发与速率限制的区别啦!
