通过日志定位 404、502 与慢请求

用访问日志判断 404 由谁返回,用错误日志定位 502,再比较请求总耗时和上游耗时。

🎯 引言

浏览器显示 404 时,你只知道请求的内容找不到。是 Nginx 找不到磁盘上的文件,还是后台没有这个接口?这两种情况看起来一样,接下来要查的地方却不同。

先从访问日志找出这次请求的结果,看看 Nginx 有没有把请求转给后台。Nginx 转发请求的后台也叫上游。如果请求转发失败,再看同一时间、同一路径的错误日志,里面可能有连接失败的具体原因。请求很慢时,也可以从访问日志里的耗时入手。


🛠 让访问日志记录上游和耗时

打开 $HOME/nginx-course/conf/nginx.conf,在已有的 http { ... } 里找到 access_log logs/access.log;,用下面这段替换那一行。下载包已配置好,可以直接做下面的实验。

conf/nginx.conf
    log_format course '$remote_addr [$time_local] "$request" status=$status '
        'bytes=$body_bytes_sent rt=$request_time '
        'upstream=$upstream_addr us=$upstream_status urt=$upstream_response_time';
    access_log logs/access.log course;

log_format 把三段引号里的内容拼成一行,作为名为 course 的日志格式。例如 $status 会换成这次返回给客户端的状态码,写出 status=404。access_log 用这份格式写入 logs/access.log。改完后执行 ngx -t && ngx -s reload。 Nginx 日志模块


🔎 404 先看有没有上游

先在一个终端里跟踪两份日志的新记录。

tail -n 0 -f "$HOME/nginx-course/logs/access.log" "$HOME/nginx-course/logs/error.log"

使用下载包时,在解压目录里用 tail -n 0 -f logs/access.log logs/error.log,后面的检查和重载命令用 sh ./ngx。

另开一个终端,分别请求一个不存在的静态文件和一个模拟后台没有定义的接口。

curl -i http://127.0.0.1:8080/assets/missing.css
curl -i http://127.0.0.1:8080/api/missing

两条访问日志的 status 都是 404,这就是客户端看到的结果。接着看 upstream 记录了哪个后台地址,以及 us 记录了什么状态码。日志里没值的字段用 - 表示。

"GET /assets/missing.css HTTP/1.1" status=404 … upstream=- us=- …
"GET /api/missing HTTP/1.1" status=404 … upstream=127.0.0.1:9001 us=404 …
  • /assets/missing.css 的 upstream=- 只告诉你这条日志没有上游地址。再看站点配置,/assets/ 由 Nginx 直接查找文件,try_files ... =404 规定找不到时返回 404。因此这次该查静态文件的路径。这种主动返回的 404 可能只有访问日志。
  • /api/missing 有上游地址,端口可能是 9001 或 9002,us=404 表示模拟后台返回了 404。入口和模拟后台共用一份访问日志,你还会看到后台那条 GET /missing。如果后台收到的路径和你预期不同,就查代理路径。路径正确时,再查后台有没有对应接口。

🔎 502 用错误日志确认失败原因

这次要模拟两个后台都连不上的情况,看看 Nginx 会记录什么。在 conf/servers/upstream.conf 的 notes_api 中,把 9001、9002 临时改成没有服务监听的 9998、9999。这样两个连接都会失败。检查并重载后,发一次请求。

curl -i http://127.0.0.1:8080/api/notes

在访问日志里找到 GET /api/notes。这条记录显示客户端收到了 502,Nginx 先后尝试了两个后台。us=502, 502 是 Nginx 为两次连接失败记下的结果。

"GET /api/notes HTTP/1.1" status=502 … upstream=127.0.0.1:9998, 127.0.0.1:9999 us=502, 502 …

再到错误日志里找同一时间和路径的记录。

connect() failed (…: Connection refused) while connecting to upstream, … request: "GET /api/notes HTTP/1.1", upstream: "http://127.0.0.1:9998/notes"

Connection refused 表示连接被拒绝。这里记录的目标端口是 9998,对应刚才改成的未监听端口。平时遇到这条错误,先查后台是否在运行,以及实际监听的地址和端口是否与配置一致。

把端口恢复为 9001、9002,检查并重载,再请求同一个 URL,确认恢复 200。


⏱ 慢请求对比 rt 和 urt

请求返回 200 也可能很慢。访问日志里的两个时间可以帮你缩小范围,单位都是秒。

  • rt 是 Nginx 看到的整次请求耗时,包含接收请求、处理请求、与上游交互和发送响应。
  • urt 是一次上游尝试的响应耗时。重试过的请求可能有多个 urt 值,按顺序与 upstream 里的地址对应。 Nginx 上游变量
只有一次上游尝试时的日志下一步查什么
rt=2.104 urt=2.081上游耗时接近总耗时。先查后台处理这个请求花了多久,以及 Nginx 到后台的网络连接。
rt=2.104 urt=0.006上游只占了约 6 毫秒。剩下的时间可能花在接收请求、Nginx 自身的处理或发送响应上。这两个值只能帮你缩小范围。

🧪 小练习:观察下载变慢时的日志

用压缩实验中的 large.txt 做两次对照。先用下面的命令请求一次,记下访问日志里的 rt。

curl -sS -o /dev/null -w 'HTTP %{http_code}\n' http://127.0.0.1:8080/assets/large.txt

在 conf/servers/site.conf 的 location ^~ /assets/ { ... } 里临时加一行 limit_rate 2k;,让 Nginx 每秒发送约 2 KB。检查并重载后,再执行同一条命令。 Nginx limit_rate 文档

一次实测中,两次请求的状态码都是 200,限速后的 rt 增加到约 3 秒。两次的 urt 都是 -,因为静态文件由入口直接发送。

status=200 bytes=7501 rt=0.000 upstream=- us=- urt=-
status=200 bytes=7501 rt=3.015 upstream=- us=- urt=-

实验结束后删掉 limit_rate 2k;,检查并重载。