站内搜索被爬虫刷爆?搜索接口防遍历实战

站内搜索是爬虫最爱走的后门:不用跟链接,构造一个关键词就能翻完整站数据。本文讲清搜索接口被遍历的特征、日志怎么认出来、Nginx 与应用层各该怎么限。

Q:为什么爬虫不打首页,专挑站内搜索?

  • 站点结构是一棵树。爬虫顺链接走,深度受限、分页有限,还会被 robots 和 nofollow 挡一下,抓取效率很低。
  • 搜索框是唯一的「任意入口」:只要构造关键词,就能从任意位置进入任意结果集,完全绕开导航结构。
  • 搜索结果页自带分页、排序、筛选参数,等于网站主动给爬虫提供了一个可分页的查询接口。
  • 成本也不对等。抓一个静态页是读文件,跑一次搜索是一次索引查询甚至全表扫描,单位成本差一个量级。

Q:搜索接口被遍历,和普通爬虫抓取有什么区别?

  • 普通爬虫:请求分散在大量 URL 上,静态资源占比正常,单 IP 速率不高但覆盖广。
  • 遍历型:请求高度集中在少数路径,比如 /search、/list、/api/query,参数千变万化,静态资源几乎为零。
  • 危害也不在带宽。带宽常常只涨两三成,但查询成本、数据库连接、搜索服务负载先崩。
  • 三个判据记住:搜索页请求占比、单 IP 唯一查询数、结果页深度分布。

Q:日志上怎么把遍历行为认出来?

# 1. 各路径请求量占比,看搜索是不是突然排到前列
awk '{print $7}' access.log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -20

# 2. 同一 IP 触发过多少个不同查询(去重后按 IP 统计)
awk -F'"' '/\/search/ {split($2,q," "); split($0,f," "); print f[1], q[2]}' access.log \
  | sort -u | awk '{print $1}' | sort | uniq -c | sort -rn | head

# 3. 分页深度分布,真实用户极少翻过第 5 页
grep -oE 'page=[0-9]+' access.log | cut -d= -f2 | sort -n | uniq -c | tail -20

# 4. 静态资源请求数,拿去和搜索请求数对比
grep -cE '\.(css|js|png|jpg|webp|svg|woff2)(\?|$)' access.log
  • 第 2 条最有效。正常用户一天换不了几十个关键词,遍历脚本一个 IP 能跑几千个。单 IP 唯一查询数超过 200,基本可以定性。
  • 第 3 条看形状。真人集中在 1 到 3 页,遍历型会一路翻到第 50 页、第 100 页,甚至越界报错还在继续。
  • 第 4 条做交叉验证。搜索请求上千而静态资源请求只有个位数,说明对方根本没看页面,是在直接打接口。

Q:参数组合的暴露面到底有多大?

  • 算一遍就明白:关键词 5000 个,分类 20 个,价格区间 6 段,排序 4 种,分页 50 页。
  • 乘起来是一亿两千万个 URL。爬虫不需要全爬,只需要挑最贵的那条组合反复打。
  • 一个关键词翻 50 页、每页 20 条,就是 1000 条数据;1000 个关键词就是百万条,整站商品或文章库基本搬空。
  • 所以防护的着眼点不是「页面数」,而是参数笛卡尔积。把维度砍掉,比封 IP 有用得多。

Q:Nginx 层怎么给搜索接口单独限流?

  • 搜索必须单独一个 zone,阈值比浏览页紧一到两个数量级,并且拒绝要返回 429,不要用 444。444 直接关连接、不写日志,事后没有证据。
# http 块
limit_req_zone  $binary_remote_addr zone=search:10m rate=6r/m;
limit_req_zone  $binary_remote_addr zone=browse:10m rate=60r/m;
limit_conn_zone $binary_remote_addr zone=sconn:10m;

server {
    location = /search {
        limit_req   zone=search burst=3 nodelay;
        limit_conn  sconn 4;
        limit_req_status  429;
        limit_conn_status 429;
        limit_req_log_level warn;

        # 空关键词直接拒,脚本经常先探测空查询
        if ($arg_q = "") { return 400; }

        # 深度截断:page 三位数以上一律拒,见 Q3 的深度分布
        if ($arg_page ~ "^[0-9]{3,}$") { return 403; }

        proxy_pass http://backend;
    }

    location / {
        limit_req zone=browse burst=60 nodelay;
        proxy_pass http://backend;
    }
}
  • burst=3 是给真人改关键词留的余量,不能再小,否则用户连搜两次就被拦。
  • limit_req_log_level warn 要显式写。默认是 error,被限流的每个请求都会往 error log 写一条,限流规则自己就能把磁盘写满。
  • 参数白名单更彻底:只放行 q、page、sort、cat 四个参数,其余用 $args 判断直接丢弃或拒绝。

Q:光限流够不够?应用层还得做什么?

  • 不够。限流挡的是频率,挡不住「低频但覆盖广」的分布式遍历。应用层要砍掉查询本身的成本。
  • 结果总数封顶:搜索服务里把深度查询限制在固定上限内,超出直接提示「结果过多,请细化关键词」,不要让它扫到底。
  • 深度上限:页码乘每页条数不超过 1000。超过这个值的结果,业务上本来就没人看。
  • 关键词约束:长度不超过 30 字,字符集只允许中英文数字和少量符号,超长或含特殊字符直接拒。
  • 关掉精确总数:搜索页顶部那个「共 12345 条」是最贵的一步统计。压力大时降级为「约 1 万条」,能省掉一半开销。

Q:缓存能不能救搜索接口?

  • 能,但前提是缓存键归一化。默认用整个请求 URI 做键,每个参数组合都是新 key,命中率接近零。
  • 做法是只保留白名单参数,并对关键词做 trim、转小写、去特殊字符,让同一语义的查询落到同一个键上。
proxy_cache_path /data/cache levels=1:2 keys_zone=scache:100m max_size=2g inactive=10m;

location = /search {
    proxy_cache scache;
    proxy_cache_key "$scheme$host$uri$arg_q$arg_page$arg_cat";
    proxy_cache_valid 200 60s;
    proxy_cache_lock on;
    proxy_cache_use_stale updating error timeout;
    proxy_pass http://backend;
}
  • proxy_cache_lock on 很重要。没有它,同一个未命中查询会被几十个并发请求同时穿透到后端。
  • 热门关键词可以预热:把访问量前 500 的词在业务低峰跑一遍,命中率立刻上一个台阶。
  • 但长尾词天然不命中,而爬虫恰恰专挑长尾。缓存是省钱手段,不是主防线。

Q:搜索接口要不要对未登录用户全开?

  • 分级开放更现实:基础搜索对所有人开放,多维筛选、时间区间、精确排序这类高成本组合要求登录或降低频率。
  • 要考虑 SEO。搜索页对长尾词确实有流量价值,一刀切登录会把自然流量一起砍掉。
  • 稳妥做法是按来源分层:搜索引擎蜘蛛走验证过的白名单,普通用户给正常频率,异常频率才触发验证。
  • 搜索结果页统一输出 noindex, follow,避免大量参数页被收录成垃圾内容;需要收录的分面导航,用 canonical 指向主列表页。

Q:拦错了会误伤谁?怎么避免?

  • 真人连搜:改关键词、改价格区间、后退再搜,一分钟内四五次很正常,burst 给小了立刻 429。
  • 弱网重试:移动端同一个查询连续重试三次很常见,同 query 短时间重复不该计次。
  • 出口 NAT:公司、学校、运营商大内网共用出口,按 IP 限流会连坐一片。这时要补 UA 与 Cookie 维度,登录用户按用户 ID 限。
  • 自家工具:可用性监控、比价插件、合作方接口调用,一律先加白名单,别把自己的监控拦了。
  • 上线顺序:先只记录不拦(观察模式跑三到七天)→ 只对超阈值返回 429 → 最后才触发人机验证。

Q:还有什么补充建议?

  • 把搜索接口当对外 API 管:参数白名单、频率配额、结果上限、调用方标识,四项写进文档。当它不是页面而是接口,防护思路立刻就清楚了。
  • 监控三个指标:搜索请求占比、单 IP 唯一查询数、搜索 P95 耗时。只看总 QPS 一定漏,因为搜索的量级永远打不过静态页。
  • 把搜索服务与主站隔离:独立实例或至少独立连接池。搜索被打挂时,首页和详情页还能正常打开,损失立刻小一个量级。
  • 搜索不可用时返回静态热门列表,比直接 502 体面得多,也不会把爬虫的错误页收进索引。
  • 最后一句话:搜索接口防护的重点不是「挡住爬虫」,而是让一次查询变得不便宜。