将请求分给多个上游服务

使用 upstream 管理多个后台地址,理解轮询、失败隔离与状态共享的边界。

🎯 引言

一个入口后面可以有多份应用。本篇加入第二个模拟后台,验证请求如何被分流,并认识“有两个地址”和“系统不会故障”之间的差距。


🛠 准备第二个后台

在 mock.conf 最外层追加第二个 server,不要放进第一个站点里面:

server {
    listen 127.0.0.1:9002;
    server_name backend-b;
    default_type application/json;

    location = /notes {
        add_header X-Backend 'b';
        return 200 '{"instance":"b","notes":["learn nginx"]}';
    }

    location / {
        return 404 '{"error":"not found"}';
    }
}

先重载并直连 http://127.0.0.1:9002/notes,应看到 "instance":"b"。两份数据相同、实例名不同,便于观察,不需要读者先会部署业务应用。


🧱 用 upstream 表示一组后台

创建 conf/servers/upstream.conf,内容如下:

conf/servers/upstream.conf
upstream notes_api {
    server 127.0.0.1:9001 max_fails=1 fail_timeout=10s;
    server 127.0.0.1:9002 max_fails=1 fail_timeout=10s;
    keepalive 8;
}

这个文件在 http 内被包含,upstream 与 server 是同级。组名 notes_api 是配置中的标识,不需要 DNS。默认使用带权轮询;本例权重相同,连续新请求通常能看到两种实例。

将入口 /api/ 块中的 proxy_pass 改成:

proxy_pass http://notes_api/;

其余请求头和超时设置保留。keepalive 8 为每个工作进程缓存最多 8 个空闲上游连接,它不是“后台最多同时处理 8 个请求”。前面明确设置的 HTTP/1.1 和 Connection 支持这些连接复用。详见upstream 官方文档。


🧪 验证分流与失败处理

检查重载后,在 Bash 中执行:

for n in {1..6}; do
    curl -sS http://127.0.0.1:8080/api/notes
    printf '\n'
done

for 将同样操作重复六次,-sS 隐藏进度条但保留错误信息。验收看是否出现 a、b 两个实例,不把严格交替当成所有环境下的保证。

接下来将 upstream 中第二个端口临时改成未监听的 9999,检查重载后重复请求。默认代理重试策略会在适当的连接错误或超时情况下尝试另一个上游;此实验是还没有返回内容的 GET 请求,通常仍能从 a 收到数据。错误日志应出现连接 9999 失败的信息。实验后恢复 9002 并重载。

max_fails=1 fail_timeout=10s 用于被动失败判断:在指定时间内达到失败次数后暂时避开该上游。它不是定时发送探测请求的主动健康检查,单工作进程下的实验现象也不能直接代表多工作进程的共享状态。


🪤 多实例仍需应用配合

真实业务中,两份应用必须能访问一致的数据。若登录状态只放在某一份应用内存里,下一次请求被分到另一份就可能丢失。应由应用设计共享会话或其他合适方案,Nginx 不会替它同步数据。

也不要为“少报错”随意扩大重试范围。创建订单、扣款等请求若已经被后台执行,再次发送可能产生重复操作;应用需要设计去重等可靠性机制。相关约束见代理重试说明。

本实验的两个后台和入口属于同一个进程体系,整台机器或 Nginx 停止时会一起不可用;它只是学习分流,不是高可用部署。


❓ 知识问答

Q1:两台后台一定让速度翻倍吗?

不一定。数据库、CPU、网络或共享资源可能成为瓶颈,要用实际测量判断。

Q2:能不能把最慢的地址设成备用?

可以用 backup 表达主服务不可用时才使用的备用关系,但要先确认这符合业务容量与故障预案,本例先掌握两个普通成员。


🧪 小练习

给第一个上游添加 weight=2,第二个保留默认权重,发出多次新请求观察结果,再恢复等权配置。

验收:能够解释第一个地址被分配的比例通常更高,但有限次数不必精确达到 2:1;两种实例都能正常响应。


🎉 你已经能配置并验证多上游入口,也知道分流不能代替业务可靠性!