任务并发与速率限制

配置 BullMQ Worker 并发和队列速率限制,控制后台任务对资源与外部服务的压力。

🎯 引言

学完本文,你能让 Worker 同时处理多项任务,并限制队列在一段时间内启动的任务数量。

沿用 BullMQ 快速入门 的 Redis 配置与 queue-config.mjs。本课程使用 BullMQ 5.61.2。


🧱 并发与速率限制的区别

并发限制同一时刻有多少项任务正在处理;速率限制同一段时间内最多启动多少项任务。前者控制同时占用的资源,后者控制短时间内的启动频率。

例如,文件处理受内存限制时应控制并发;调用外部服务有每分钟请求上限时应限制速率。两种限制可以同时使用。


⚡ Worker 并发数量

concurrency 是单个 Worker 可同时处理的 Job 数量。为了观察处理重叠,创建 concurrent-worker.mjs:

concurrent-worker.mjs
import { Worker } from 'bullmq';
import { setTimeout as delay } from 'node:timers/promises';
import { connection, queueName } from './queue-config.mjs';

async function processJob(job) {
    console.log('开始:', job.id);
    await delay(2000);
    console.log('完成:', job.id);
}

const worker = new Worker(queueName, processJob, {
    connection: { ...connection, maxRetriesPerRequest: null },
    concurrency: 2,
});
worker.on('failed', (job, error) => console.error(job?.id, error.message));
worker.on('error', error => console.error(error.message));
process.once('SIGINT', async () => { await worker.close(); });

这里等待 2 秒只是模拟一项会等待的任务。并发值 2 表示 Worker 至多同时处理两个 Job,不表示 JavaScript 同步计算自动使用两个 CPU 核心。

先提交三次,再运行 Worker:

node add-job.mjs
node add-job.mjs
node add-job.mjs
node concurrent-worker.mjs

终端通常先出现两条“开始”,其中一个任务结束后才开始第三项。完成顺序可能与提交顺序不同。


🧰 多个 Worker 的任务分工

同一队列可有多个 Worker 共同领取任务。每个 Worker 的并发设置分别生效,因此两个 concurrency: 2 的 Worker 最多可能同时执行四项工作。

适合任务等待网络或文件操作、并且下游有足够处理能力的场景。增加 Worker 前先确认数据库连接数、内存或外部服务额度承受得住;扩容并发也可能放大下游压力。

CPU 密集型任务会占住 JavaScript 执行线程,单纯增加同一进程的并发数未必带来并行计算能力。需要更多 CPU 处理能力时,应使用独立进程或专门的线程处理方式。


🚦 队列速率限制

BullMQ 的队列限流可以控制全队列的启动速率,而不只是限制某一个 Worker。适合外部接口规定每秒请求上限的场景。

将下面选项加入 concurrent-worker.mjs 的 Worker 配置:

limiter: {
    max: 5,
    duration: 1000,
},

max 表示时间窗口内最多启动的任务数,duration 以毫秒计。此配置让队列每秒最多启动 5 项任务;任务完成速度还取决于并发数和实际处理耗时。

BullMQ 5 中,limiter 是 Worker 配置,但额度按队列统一协调;同一队列的多个 Worker 共用这个速率上限。BullMQ 限流说明


🧰 根据任务与下游能力选择配置

并发应根据单项任务会占用的资源来定,速率上限应依据外部服务的额度来定。观察等待任务数、处理中数量和下游错误,再逐步调整;不要只凭 CPU 空闲就持续提高并发。


❓ 知识问答

Q1:并发设为 5,是否保证每秒只运行 5 个任务?

不能。它限制同时处理中任务数;速率限制才约束时间窗口内启动数量。

Q2:启动两个并发为 3 的 Worker,全队列并发是多少?

在没有其他限制时,最多可能同时处理 6 项任务。

Q3:CPU 密集型任务能只靠提高 concurrency 加速吗?

不一定。同一 JavaScript 线程执行 CPU 计算时,其他任务的处理回调也会等待。


🧪 小练习

先设置 concurrency: 1,再设置为 3,提交多项任务并比较“开始”和“完成”日志的交错情况。

// 请在这里编写代码

🎉 恭喜你已经掌握并发与速率限制的区别啦!