容错与可靠性
🎯 引言
订单服务需要向库存服务查询商品是否有货。正常情况下,库存服务很快就能响应;但如果它突然变慢,订单服务也只能一直等待吗?如果反复重试,会不会让库存服务更加忙碌?
本篇沿用订单与库存服务,学习 超时、重试、熔断、隔离和降级 怎样保护服务。我们先解决一个真实的慢请求,再理解其他保护措施。不重新讲 MySQL 事务、RabbitMQ 消息确认或幂等的数据库实现。
🧱 一个服务变慢,为什么会影响另一个服务
假设订单服务每秒接收 100 个请求,其中每个请求都需要查询库存。原本库存接口约 100 毫秒返回,现在却要等待 20 秒。
等待中的订单请求会不断增加,持续占用连接、内存等资源。库存服务虽然没有直接崩溃,却可能拖慢整个订单服务。为了减少这种故障传播,我们需要根据不同问题选择不同策略:
| 遇到的问题 | 对应策略 |
|---|---|
| 单次请求等待太久 | 超时:限制等待时间 |
| 偶发故障,稍后可能恢复 | 重试:在有限次数内再次尝试 |
| 库存服务持续失败 | 熔断:暂时停止普通调用 |
| 库存请求占用太多资源 | 隔离:限制某类调用使用的资源 |
| 非关键功能依赖不可用 | 降级:返回业务允许的替代结果 |
这些策略不是全部都要开启,而是根据接口的业务性质与故障情况组合使用。
⏱ 超时与重试:先限制等待,再决定是否重试
超时 解决“等多久”的问题;重试 解决“偶发失败后能否再试一次”的问题。两者不能混为一谈:如果库存服务已经很忙,无限制重试只会增加它的压力。
运行一个库存变慢的例子
下面沿用 Express,创建两个最小服务。示例使用 Node.js 22 或更新的兼容版本、Express 5;只模拟 只读库存查询,不执行扣减库存。
项目结构:
resilience-demo/
├── services/
│ ├── inventory.mjs
│ └── orders.mjs
└── package.json
在新目录执行:
mkdir -p resilience-demo/services
cd resilience-demo
npm init -y
npm install express@5
然后创建以下文件:
import express from 'express';
const app = express();
let failOnce = true;
app.get('/availability', async (req, res) => {
const mode = req.query.mode;
// 模拟一个响应缓慢的库存接口
if (mode === 'slow') {
await new Promise(resolve => setTimeout(resolve, 1800));
}
// 模拟第一次不可用、第二次恢复
if (mode === 'flaky' && failOnce) {
failOnce = false;
return res.status(503).json({ message: '库存服务暂时不可用' });
}
res.json({ available: 10 });
});
app.listen(3003, () => console.log('库存服务:http://localhost:3003'));
import express from 'express';
const app = express();
const sleep = ms => new Promise(resolve => setTimeout(resolve, ms));
async function queryInventory(mode) {
const url = `http://localhost:3003/availability?mode=${mode}`;
for (let attempt = 1; attempt <= 2; attempt++) {
try {
const response = await fetch(url, {
signal: AbortSignal.timeout(800)
});
if (response.ok) return await response.json();
// 只有模拟的临时不可用才重试;其他错误直接结束
if (response.status !== 503) {
throw new Error(`不可重试的 HTTP ${response.status}`);
}
} catch (error) {
// 超时和连接失败允许重试,其他错误直接抛出
if (error.name !== 'TimeoutError' && !(error instanceof TypeError)) {
throw error;
}
}
console.log(`第 ${attempt} 次库存查询未成功`);
if (attempt < 2) await sleep(150);
}
throw new Error('库存查询暂时不可用');
}
app.get('/inventory', async (req, res) => {
const mode = ['normal', 'slow', 'flaky'].includes(req.query.mode)
? req.query.mode
: 'normal';
try {
res.json(await queryInventory(mode));
} catch {
res.status(503).json({ message: '库存查询暂时不可用,请稍后再试' });
}
});
app.listen(3002, () => console.log('订单服务:http://localhost:3002'));
分别打开两个终端,在项目根目录启动:
node services/inventory.mjs
node services/orders.mjs
在浏览器访问以下地址,观察结果:
| 请求地址 | 预计结果 | 为什么 |
|---|---|---|
http://localhost:3002/inventory?mode=normal | 返回 {"available":10} | 库存接口正常响应 |
http://localhost:3002/inventory?mode=flaky | 首次访问也能返回库存 | 第一次收到 503,第二次查询成功 |
http://localhost:3002/inventory?mode=slow | 返回 503 和提示信息 | 每次等待超过 800 毫秒,尝试两次后结束 |
flaky 只模拟库存服务启动后的第一次查询失败。如果之前已经访问过该模式,重启库存服务后再测试。
在这里,每次请求最多等待 800 毫秒,最多尝试两次,中间停顿 150 毫秒。需要特别注意:800 毫秒是单次尝试的超时,不是整个接口的总耗时上限。实际项目还应设置包含重试和等待时间在内的整体时间预算。
即使订单服务停止等待,库存服务也可能仍在执行原来的请求。对于 创建订单、预留库存、扣款 等会修改数据的操作,不能照搬上述只读查询的重试代码;必须先考虑请求幂等和结果查询,这些已经在前面的课程中讲过。
🧩 熔断:连续失败时,先暂停调用
超时让一次请求不至于等待太久,但如果库存服务持续故障,每次都等待、重试仍会浪费资源。
这时可以使用 熔断器:当一段时间内的失败达到设定条件,暂时不再发送普通请求,直接返回失败;过一段时间再允许少量请求探测服务是否恢复。
正在加载流程图…
名称容易混淆:关闭 表示调用通路正常开放,打开 才表示暂时阻止调用。
例如,库存查询在观察窗口内频繁超时,熔断器进入打开状态;此时不必每次都等待库存接口。恢复等待期结束后,少量探测成功才恢复正常调用。
熔断器不会修复库存服务,也不等于发现一次失败就立即熔断。生产环境需要根据实际流量设置统计窗口、失败比例、最少请求数和探测数量;本篇先理解状态切换,不额外引入熔断库。
🛡 隔离:别让库存查询占满订单服务的资源
即使设置了超时,在高并发下仍可能同时有大量请求等待库存。隔离 的作用是限制某类依赖调用对其他业务的影响。
例如订单服务同时提供 创建订单 和 查询历史订单:
- 创建订单依赖库存服务。
- 查询历史订单只读取订单服务自己的数据。
如果允许无限量的库存请求同时等待,它们可能占满连接或其他共享资源,连查询历史订单也受到影响。
一种简单策略是:最多允许 20 个正在执行的库存查询,超过上限的新查询立即返回“暂时繁忙”,而不是无限排队。这样可以为订单服务的其他功能保留资源。
这里的 20 只是示例,不是通用配置。真实系统还需要根据服务容量设置合理上限。与按时间段限制请求次数的 限流 不同,隔离更强调避免一类任务耗尽大家共用的资源。
🔄 降级:关键依赖不可用时,哪些功能还能继续
降级 是指某个依赖无法使用时,暂时提供业务允许的简化结果,而不是让所有功能一起不可用。
| 功能 | 库存服务故障时如何处理 |
|---|---|
| 商品详情页的实时库存展示 | 可以暂时隐藏实时数量,提示稍后刷新 |
| 非关键商品推荐 | 可以暂时返回空列表 |
| 创建订单并预留库存 | 不能假装库存已预留成功 |
| 支付扣款 | 不能假装扣款成功或失败 |
因此,降级不是把错误都变成成功响应。对于影响资金、库存和订单状态的关键操作,应返回明确的处理中、暂时不可用等状态,并保留后续恢复路径。
⚖️ 怎样组合这些策略
同一个故障可能需要多种机制共同保护,但不应该无条件地叠加重试。
| 故障场景 | 优先考虑 | 需要避免 |
|---|---|---|
| 只读查询偶发超时 | 单次超时、有限重试、整体时间预算 | 不限次数地重试 |
| 库存服务持续失败 | 超时、熔断、快速失败 | 继续向故障服务大量发请求 |
| 大量库存查询同时等待 | 并发隔离、限制等待队列 | 挤占其他功能所需资源 |
| 商品详情依赖暂不可用 | 隐藏实时库存并提示 | 展示未经确认的实时库存 |
| 库存预留请求超时 | 使用原业务标识查询结果,再决定后续动作 | 直接重复扣减或假装成功 |
这里的重点是分清两件事:服务是否还能响应,以及 业务结果是否真实正确。容错机制只能帮助控制故障影响,不能替业务决定一个未知操作已经成功或失败。
后续学习可观测性时,还会通过日志、指标和追踪观察这些策略是否真正有效。
❓ 知识问答
Q1:订单服务超时后,库存服务的请求一定停止了吗?
不一定。调用方中止等待不代表库存服务已经取消处理。尤其是写请求,必须确认业务结果。
Q2:为什么不对所有失败都重试?
库存不足、请求参数错误等通常不会因为立刻重试就变好。即使是临时错误,也需要限制次数和总耗时,避免故障时制造更多请求。
Q3:熔断和隔离有什么区别?
熔断是在依赖持续失败时暂时停止普通调用;隔离是限制某类调用能占用多少资源,即使依赖没有完全故障也有意义。
🧪 小练习
- 运行两个 Express 服务,分别访问
normal、flaky和slow模式,观察订单服务的响应和终端中的重试记录。 - 将库存服务的慢响应从 1800 毫秒改成 500 毫秒,再访问
slow,解释为什么结果改变。 - 假设“查询库存”和“预留库存”都发生超时,说明为什么可以考虑重试前者,却不能直接用同样方式重试后者。
- 假设库存查询持续不可用,说明熔断、隔离与商品详情降级分别能解决什么问题。
验收标准: 能实际观察超时与有限重试的结果,区分查询失败和写操作结果未知,并说清楚熔断、隔离、降级的作用边界。
🎉 恭喜你完成本篇学习!现在你已经理解如何在库存服务变慢或故障时保护订单服务,并能为不同业务选择合适的容错策略。
