开放平台接口防爬要防的不是外部扫描器,而是签了合同、拿着 API Key、日志里看起来完全合法的合作方在超量取数。本文讲清怎么判定、怎么限、怎么留证、怎么断供。
Q:合作方超量抓取,和外部恶意爬虫有什么本质区别?
- 外部爬虫要过鉴权,合作方不用。它有合法的 Key、合法的签名、稳定的机房 IP,你所有的准入控制对它全部放行。
- 所以在日志里它和正常调用一模一样:状态码 200、UA 正常、来源集中,任何基于拦截的规则都不会触发。
- 真正的差别只在调用量与调用形态:频率远超业务需要、接口组合像在导库、分页深度一路翻到底。
- 结论:外部爬虫靠拦,合作方超量只能靠计量、配额与审计。这不是安全设备的活,是接口治理的活。
Q:怎么判断是业务增长还是超量抓取?
只看 QPS 一定误判,四个维度同时成立才有结论:
- 单 Key 调用量:占全平台调用比例抬升,而它对应的订单量、活跃用户没有同步增长。
- 接口分布:正常合作方集中在少数业务接口;抓取型调用会把列表、详情、搜索、导出全走一遍。
- 分页深度:正常业务翻三五页就结束,抓取会翻到第几万条。看
offset的分位数,不看均值。 - 去重率:正常调用反复命中同一批热门 ID,抓取的去重率接近 100%,因为它要的是全集。
# 按 Key 聚合当日调用量(示例:Key 在第 9 列)
awk '{k=$9; c[k]++} END{for (i in c) print c[i], i}' access.log | sort -rn | head
# 单个 Key 的接口分布
awk '$9=="ak_live_xxx" {print $7}' access.log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -20
# 分页深度分位数:看 offset 是不是翻到底
awk '$9=="ak_live_xxx"{print $7}' access.log | grep -o 'offset=[0-9]*' | cut -d= -f2 \
| sort -n | awk '{a[NR]=$1} END{print "p50",a[int(NR*0.5)],"p95",a[int(NR*0.95)],"max",a[NR]}'
判据很直接:调用量涨了,业务指标没涨,就是数据被搬走了。
Q:配额怎么设计才既管得住又不误伤?
- 两层配额必须都有:日总量防批量导出,秒级速率防瞬间拉满。只设日配额,对方可以在凌晨两小时抓完。
- 三个维度:Key、接口、账号。只按 IP 限没有意义,合作方都在机房出口。
- 配额分级发放,新 Key 先给小额度,观察两周再提。合同里写的是上限,不是默认值。
- 超限返回 429 加 Retry-After,并在响应头里带上余量,让对方能自己退避,而不是无脑重试把压力放大。
# 按 API Key 限流:Key 从请求头取,缺省时退化为客户端 IP
map $http_x_api_key $api_key {
default $http_x_api_key;
"" $binary_remote_addr;
}
limit_req_zone $api_key zone=apikey:20m rate=20r/s;
limit_conn_zone $api_key zone=apikeyconn:10m;
location /openapi/ {
limit_req zone=apikey burst=40 nodelay;
limit_req_status 429;
limit_conn apikeyconn 10;
limit_conn_status 429;
add_header Retry-After 30 always;
add_header X-RateLimit-Limit 20 always;
proxy_pass http://openapi_backend;
}
map 必须写在 http 块,limit_req 写在 location 块。Key 是敏感信息,日志里只留前 8 位,其余打码。
Q:分页和批量接口是不是最大的漏口?
- 是。列表接口单次返回 20 条,翻 5 万页就是 100 万条,等同于把库导走,而每次请求都完全合法。
- 三条硬限制:page_size 上限、最大可翻页深度、按 Key 的每日可遍历总量。缺一条都能被绕过。
- 深分页本身也是性能杀手,
LIMIT 100000, 20会让数据库白扫十万行。改成游标分页既省资源,又天然限制全量遍历。 - 批量导出接口单独管:异步任务、每日次数上限、单次条数上限,不要做成同步流式返回。
# 列表参数硬校验(if 内只允许 return 或 rewrite)
if ($arg_offset !~ ^[0-9]{1,5}$) { return 400; }
if ($arg_limit !~ ^[0-9]{1,2}$) { return 400; }
# 游标分页替代深分页
SELECT id, title FROM items WHERE id < :last_id ORDER BY id DESC LIMIT :n;
Q:数据已经被搬走,怎么证明是从这个合作方流出的?
- 在返回结果里埋不可见标记:把「Key 加时间片」编码成映射表里的编号,混进格式合法但不承载业务的字段。
- 标记不能影响业务语义,也不能一眼看出规律;映射表单独存,只有你能反查。
- 另一种是蜜标数据:给每个合作方返回一条现实中不存在的记录,一旦在别处出现,来源立刻确定。
- 水印不是防护手段,是事后举证手段。它的价值在于谈判与追责时有据可依,别指望它拦住谁。
# 标记映射表:对外只返回 trace_no,反查表留在自己库里
INSERT INTO api_trace(api_key, trace_no, endpoint, created_at)
VALUES ('ak_live_xxx', 'T7F3K9', '/openapi/items', NOW());
Q:日志要记哪些字段,事后才算得清账?
- 必记七项:Key 脱敏值、合作方 ID、接口路径、参数摘要、状态码、返回条数、耗时,再加客户端 IP 与 UA。
- 返回条数这一列最常被漏,但它是判断「抓走多少数据」的唯一依据,没有它连损失都算不出来。
- 留存至少 6 个月,按天分表、按 Key 建索引,出事时要能一小时内拉出全量记录。
- 日志不是给人逐行看的,必须能被脚本聚合。几千万行却查不动,等于没有日志。
# 按 Key 统计当日抓走的总条数(第 11 列为返回条数)
awk '$9=="ak_live_xxx"{s+=$11; n++} END{print "requests",n,"rows",s}' access.log
# 按小时看调用曲线,抓取型通常全天平坦、没有业务波峰
awk '$9=="ak_live_xxx"{print substr($4,2,14)}' access.log | uniq -c
Q:确认超量之后,处置顺序是什么?
- 第一步降速不封禁:把配额砍到业务刚需,观察对方反应。直接封 Key 会断掉证据链,也会把技术问题变成商务冲突。
- 第二步书面通知:把调用曲线、接口分布、分页深度截图发给对接人,要求说明用途。
- 第三步降配额或改接口白名单:只放行它业务真实需要的几个接口,其余返回 403。
- 第四步停用旧 Key 并签发新 Key:旧 Key 记录保留不删除,举证需要原始凭证。
- 每一步都留痕:时间、操作人、依据。不要事后补记录,补出来的东西经不起质疑。
Q:合同和技术怎么形成闭环?
- 配额写进合同附件:日调用上限、单接口上限、并发上限、超限后的处理方式,全部可测。
- 写清数据用途,明确禁止转售、禁止用于模型训练,并要求提供下游使用场景。
- 约定月度对账,且以你的日志为准,不以对方的统计口径为准。
- 违规阶梯要具体:首次警告并降配额、二次暂停、三次终止并追究,只写「有权终止」等于没写。
- 字段级最小化:能只给 ID 就不给详情,能给区间就不给精确值。少返回一个字段,就少一条泄露路径。
Q:还有什么补充建议?
- 把 Key 当资产管理:一合作方一 Key、测试与生产分离、项目结束必须回收。共用 Key 出事时无法定位责任人。
- Key 定期轮换,轮换期双 Key 并存七天,避免切换时业务中断。
- 告警用双条件:调用量超过近 14 天同时段 2 倍,且业务侧指标没有同步变化。
- 每季度复核一次配额。业务涨了配额不动会被投诉,业务降了配额不降就是敞口。
- 最后一句:开放平台的防爬不是把门关小,而是让每一次取数都记清、限量、可追溯。