容错与可靠性

通过订单调用库存服务的案例,掌握超时、有限重试、熔断、隔离与降级,避免下游故障扩散。

🎯 引言

订单服务需要向库存服务查询商品是否有货。正常情况下,库存服务很快就能响应;但如果它突然变慢,订单服务也只能一直等待吗?如果反复重试,会不会让库存服务更加忙碌?

本篇沿用订单与库存服务,学习 超时、重试、熔断、隔离和降级 怎样保护服务。我们先解决一个真实的慢请求,再理解其他保护措施。不重新讲 MySQL 事务、RabbitMQ 消息确认或幂等的数据库实现。


🧱 一个服务变慢,为什么会影响另一个服务

假设订单服务每秒接收 100 个请求,其中每个请求都需要查询库存。原本库存接口约 100 毫秒返回,现在却要等待 20 秒。

等待中的订单请求会不断增加,持续占用连接、内存等资源。库存服务虽然没有直接崩溃,却可能拖慢整个订单服务。为了减少这种故障传播,我们需要根据不同问题选择不同策略:

遇到的问题对应策略
单次请求等待太久超时:限制等待时间
偶发故障,稍后可能恢复重试:在有限次数内再次尝试
库存服务持续失败熔断:暂时停止普通调用
库存请求占用太多资源隔离:限制某类调用使用的资源
非关键功能依赖不可用降级:返回业务允许的替代结果

这些策略不是全部都要开启,而是根据接口的业务性质与故障情况组合使用。


⏱ 超时与重试:先限制等待,再决定是否重试

超时 解决“等多久”的问题;重试 解决“偶发失败后能否再试一次”的问题。两者不能混为一谈:如果库存服务已经很忙,无限制重试只会增加它的压力。

运行一个库存变慢的例子

下面沿用 Express,创建两个最小服务。示例使用 Node.js 22 或更新的兼容版本、Express 5;只模拟 只读库存查询,不执行扣减库存。

项目结构:

resilience-demo/
├── services/
│   ├── inventory.mjs
│   └── orders.mjs
└── package.json

在新目录执行:

mkdir -p resilience-demo/services
cd resilience-demo
npm init -y
npm install express@5

然后创建以下文件:

import express from 'express';

const app = express();
let failOnce = true;

app.get('/availability', async (req, res) => {
    const mode = req.query.mode;

    // 模拟一个响应缓慢的库存接口
    if (mode === 'slow') {
        await new Promise(resolve => setTimeout(resolve, 1800));
    }

    // 模拟第一次不可用、第二次恢复
    if (mode === 'flaky' && failOnce) {
        failOnce = false;
        return res.status(503).json({ message: '库存服务暂时不可用' });
    }

    res.json({ available: 10 });
});

app.listen(3003, () => console.log('库存服务:http://localhost:3003'));

分别打开两个终端,在项目根目录启动:

node services/inventory.mjs
node services/orders.mjs

在浏览器访问以下地址,观察结果:

请求地址预计结果为什么
http://localhost:3002/inventory?mode=normal返回 {"available":10}库存接口正常响应
http://localhost:3002/inventory?mode=flaky首次访问也能返回库存第一次收到 503,第二次查询成功
http://localhost:3002/inventory?mode=slow返回 503 和提示信息每次等待超过 800 毫秒,尝试两次后结束

flaky 只模拟库存服务启动后的第一次查询失败。如果之前已经访问过该模式,重启库存服务后再测试。

在这里,每次请求最多等待 800 毫秒,最多尝试两次,中间停顿 150 毫秒。需要特别注意:800 毫秒是单次尝试的超时,不是整个接口的总耗时上限。实际项目还应设置包含重试和等待时间在内的整体时间预算。

即使订单服务停止等待,库存服务也可能仍在执行原来的请求。对于 创建订单、预留库存、扣款 等会修改数据的操作,不能照搬上述只读查询的重试代码;必须先考虑请求幂等和结果查询,这些已经在前面的课程中讲过。


🧩 熔断:连续失败时,先暂停调用

超时让一次请求不至于等待太久,但如果库存服务持续故障,每次都等待、重试仍会浪费资源。

这时可以使用 熔断器:当一段时间内的失败达到设定条件,暂时不再发送普通请求,直接返回失败;过一段时间再允许少量请求探测服务是否恢复。

正在加载流程图…

名称容易混淆:关闭 表示调用通路正常开放,打开 才表示暂时阻止调用。

例如,库存查询在观察窗口内频繁超时,熔断器进入打开状态;此时不必每次都等待库存接口。恢复等待期结束后,少量探测成功才恢复正常调用。

熔断器不会修复库存服务,也不等于发现一次失败就立即熔断。生产环境需要根据实际流量设置统计窗口、失败比例、最少请求数和探测数量;本篇先理解状态切换,不额外引入熔断库。


🛡 隔离:别让库存查询占满订单服务的资源

即使设置了超时,在高并发下仍可能同时有大量请求等待库存。隔离 的作用是限制某类依赖调用对其他业务的影响。

例如订单服务同时提供 创建订单 和 查询历史订单:

  • 创建订单依赖库存服务。
  • 查询历史订单只读取订单服务自己的数据。

如果允许无限量的库存请求同时等待,它们可能占满连接或其他共享资源,连查询历史订单也受到影响。

一种简单策略是:最多允许 20 个正在执行的库存查询,超过上限的新查询立即返回“暂时繁忙”,而不是无限排队。这样可以为订单服务的其他功能保留资源。

这里的 20 只是示例,不是通用配置。真实系统还需要根据服务容量设置合理上限。与按时间段限制请求次数的 限流 不同,隔离更强调避免一类任务耗尽大家共用的资源。


🔄 降级:关键依赖不可用时,哪些功能还能继续

降级 是指某个依赖无法使用时,暂时提供业务允许的简化结果,而不是让所有功能一起不可用。

功能库存服务故障时如何处理
商品详情页的实时库存展示可以暂时隐藏实时数量,提示稍后刷新
非关键商品推荐可以暂时返回空列表
创建订单并预留库存不能假装库存已预留成功
支付扣款不能假装扣款成功或失败

因此,降级不是把错误都变成成功响应。对于影响资金、库存和订单状态的关键操作,应返回明确的处理中、暂时不可用等状态,并保留后续恢复路径。


⚖️ 怎样组合这些策略

同一个故障可能需要多种机制共同保护,但不应该无条件地叠加重试。

故障场景优先考虑需要避免
只读查询偶发超时单次超时、有限重试、整体时间预算不限次数地重试
库存服务持续失败超时、熔断、快速失败继续向故障服务大量发请求
大量库存查询同时等待并发隔离、限制等待队列挤占其他功能所需资源
商品详情依赖暂不可用隐藏实时库存并提示展示未经确认的实时库存
库存预留请求超时使用原业务标识查询结果,再决定后续动作直接重复扣减或假装成功

这里的重点是分清两件事:服务是否还能响应,以及 业务结果是否真实正确。容错机制只能帮助控制故障影响,不能替业务决定一个未知操作已经成功或失败。

后续学习可观测性时,还会通过日志、指标和追踪观察这些策略是否真正有效。


❓ 知识问答

Q1:订单服务超时后,库存服务的请求一定停止了吗?

不一定。调用方中止等待不代表库存服务已经取消处理。尤其是写请求,必须确认业务结果。

Q2:为什么不对所有失败都重试?

库存不足、请求参数错误等通常不会因为立刻重试就变好。即使是临时错误,也需要限制次数和总耗时,避免故障时制造更多请求。

Q3:熔断和隔离有什么区别?

熔断是在依赖持续失败时暂时停止普通调用;隔离是限制某类调用能占用多少资源,即使依赖没有完全故障也有意义。


🧪 小练习

  1. 运行两个 Express 服务,分别访问 normal、flaky 和 slow 模式,观察订单服务的响应和终端中的重试记录。
  2. 将库存服务的慢响应从 1800 毫秒改成 500 毫秒,再访问 slow,解释为什么结果改变。
  3. 假设“查询库存”和“预留库存”都发生超时,说明为什么可以考虑重试前者,却不能直接用同样方式重试后者。
  4. 假设库存查询持续不可用,说明熔断、隔离与商品详情降级分别能解决什么问题。

验收标准: 能实际观察超时与有限重试的结果,区分查询失败和写操作结果未知,并说清楚熔断、隔离、降级的作用边界。


🎉 恭喜你完成本篇学习!现在你已经理解如何在库存服务变慢或故障时保护订单服务,并能为不同业务选择合适的容错策略。