耗时接口防护是最容易被漏掉的一环。攻击者不用打高 QPS,只要盯着导出、缩略图、报表这几类单次耗时一两秒的接口,几十个并发就能把机器压死。
Q:为什么慢接口比首页更容易被打垮?
- 核心是成本不对称:攻击者发一个请求只花几毫秒,服务端要花一两秒 CPU 去算。
- 算一笔账:单请求占用 1.5 秒、8 核机器,理论并发上限约 5 到 6 个可并行的重任务;每秒 30 个这样的请求,队列立刻堆满。
- 对比首页:首页走缓存后单请求 5 毫秒,同样 30 QPS 毫无压力。差别不在请求数,在单请求成本。
- 所以这类攻击的特征是 QPS 很低、带宽正常、CPU 和负载很高,任何按请求数设阈值的规则都不会触发。
Q:哪些接口属于高风险慢接口?
- 导出类:Excel、PDF、CSV、批量打印,行数由用户参数决定,成本完全可控在攻击者手里。
- 图片类:缩略图生成、裁剪、加水印、视频截帧,尺寸参数一改就是一次全新计算。
- 统计类:报表聚合、大屏看板、多表 JOIN 的汇总查询。
- 检索类:全文搜索、复杂筛选、深分页。
- 聚合类:一次请求串行调三四个第三方接口,外部慢就把本地线程一起拖住。
- 计算类:OCR、AI 推理、格式转换。这类接口单请求成本最高,防护优先级也最高。
Q:怎么确认是这几个接口被打的?
不能只看 QPS,要看处理时间分布。先在日志里把耗时记下来:
log_format timed '$remote_addr $time_local "$request" $status '
'$body_bytes_sent $request_time $upstream_response_time';
access_log /var/log/nginx/access.log timed;
# 按路径聚合总耗时(谁吃掉了服务器的处理能力)
awk '{t[$7]+=$NF; c[$7]++} END{for (k in t) print t[k], c[k], k}' access.log | sort -rn | head -15
# 单一路径的耗时分布分桶
awk '$7 ~ /export/ {if ($NF>5) a++; else if ($NF>1) b++; else c++} END{print ">5s",a," 1-5s",b," <1s",c}' access.log
# 慢请求 TOP 来源
awk '$NF>2 {print $1}' access.log | sort | uniq -c | sort -rn | head
典型结论长这样:某条导出接口只占全站请求量的 3%,却消耗了 70% 的处理时间。这种占比失衡就是被定向打的信号。
Q:这类攻击和正常业务高峰怎么区分?
- 看前置行为:真实用户点导出之前一定先登录、筛选、翻页,攻击请求往往直接命中接口,没有任何浏览轨迹。
- 看参数合法性:行数填到上限、日期范围拉到最大、尺寸参数乱填,这类请求正常用户很少发。
- 看结果行为:真人导出后会下载、会看报表,脚本拿到响应就断开,下载完成率异常低。
- 看来源集中度:正常高峰来源分散且和工作时间吻合,攻击往往集中在少数 IP 段、且跨时区持续。
- 判据不是单一指标,是「无前置行为 + 参数顶格 + 来源集中」三条同时成立,再加一条处理时间占比失衡,基本可以定性。
Q:普通 Nginx 限流为什么拦不住?
limit_req按请求数算,不按成本算。全站统一 20r/s 的阈值,对首页太严、对导出接口太松。- 全站共用一个 zone 时,静态资源的高频请求会把阈值稀释掉,慢接口反而永远不触发。
- 慢接口真正的瓶颈是并发槽位,不是 QPS,所以必须同时用
limit_conn。 - 正确做法是按成本和路径分桶,慢接口的速率要压到个位数,甚至按每分钟算。
limit_req_zone $binary_remote_addr zone=fast:10m rate=20r/s;
limit_req_zone $binary_remote_addr zone=heavy:10m rate=6r/m;
limit_conn_zone $binary_remote_addr zone=heavyconn:10m;
location ~ ^/(export|report|thumb) {
limit_req zone=heavy burst=2 nodelay;
limit_req_status 429;
limit_conn heavyconn 2;
limit_conn_status 429;
add_header Retry-After 60 always;
add_header Cache-Control "no-store" always;
proxy_read_timeout 15s;
proxy_pass http://backend;
}
Q:加了缓存为什么没效果?
- 最常见的原因是参数任意化:
?w=800&h=600换成?w=801&h=600就是新 key,缓存命中率接近零。 - 解决办法是缓存键归一化:尺寸吸附到预设档位,其余参数一律不进 key。
- 登录态页面不能共享缓存,缓存键里必须能把已登录用户摘出去。
- 不存在的资源(如不存在的商品 ID)直接返回 404 且不落缓存,否则一次遍历就把缓存和后端一起打穿。
# 只保留白名单参数进缓存键,把尺寸吸附到 320/640/960 三档
map $arg_w $cw {
~^([0-9]{1,3})$ 320;
~^([4-7][0-9]{2})$ 640;
default 960;
}
proxy_cache_key "$scheme$host$uri$cw$arg_ext";
Q:异步化改造具体怎么改?
- 同步改「提交加查询」:POST 创建任务立即返回
job_id,前端轮询或服务端回调。 - 队列必须有长度上限,满了直接返回 429,不要无限堆积。堆积的结果是延迟线性恶化,最后全站 504。
- 限制单任务规模:导出行数上限、图片尺寸上限、时间范围上限。凡是用户能控制计算量的参数,都必须有天花板。
- 同参数同用户的请求去重,5 分钟内复用同一个任务结果。
# 任务去重(Redis)
key = "job:%s:%s:%s" % (user_id, path, md5(params))
if not redis.set(key, job_id, nx=True, ex=300):
return existing_job(redis.get(key))
# 队列长度保护:超过上限直接拒绝
if redis.llen("jobs") > 200:
return 429, {"retry_after": 60}
Q:队列已经满了,怎么处理?
- 拒绝优于排队。排队的延迟是线性增长的,用户在浏览器上等到超时,服务器还在默默算。
- 返回 429 并带
Retry-After,前端给出「任务繁忙,请稍后重试」的明确提示,比转圈强得多。 - 清理僵尸任务:超过 TTL 未完成的任务主动标记失败,别让它们一直占队列槽位。
- 给慢接口单独一个 worker 池或队列,别和普通请求共用一个,否则一个接口被打挂会拖垮全站。
Q:降级怎么做才不伤业务?
- 缩略图:直接返回原图,交给前端 CSS 缩放。画质差一点,但站点活着。
- 导出:限制行数或时间范围,例如只允许导出近 7 天、最多 5000 行。
- 报表:返回上一次的缓存结果,明确标注数据截止时间,不返回空页面。
- 第三方聚合:失败时返回缓存或降级文案,不要让整个接口挂住等外部超时。
- 降级必须有开关且默认关闭,开关状态要记日志,事后能说清哪段时间降级过。
Q:还有什么补充建议?
- 做一份接口成本清单:每个接口的单请求 CPU 时间、DB 查询数、外部调用数,按成本排序定防护优先级。
- 上线前压测单个重接口,把「多少并发会打满」写成容量数字,别凭感觉估。
- 监控三个指标就够用:接口 P95 耗时、队列长度、被拒绝请求数。这三个一起抬升就是被打。
- 凡是「用户参数决定计算量」的接口,一律设上限,这是比限流更根本的一刀。
- 把重接口从主站域名拆到独立子域或独立集群,被打时不影响主业务,这条改造收益最高。