站内搜索是爬虫最爱走的后门:不用跟链接,构造一个关键词就能翻完整站数据。本文讲清搜索接口被遍历的特征、日志怎么认出来、Nginx 与应用层各该怎么限。
Q:为什么爬虫不打首页,专挑站内搜索?
- 站点结构是一棵树。爬虫顺链接走,深度受限、分页有限,还会被 robots 和 nofollow 挡一下,抓取效率很低。
- 搜索框是唯一的「任意入口」:只要构造关键词,就能从任意位置进入任意结果集,完全绕开导航结构。
- 搜索结果页自带分页、排序、筛选参数,等于网站主动给爬虫提供了一个可分页的查询接口。
- 成本也不对等。抓一个静态页是读文件,跑一次搜索是一次索引查询甚至全表扫描,单位成本差一个量级。
Q:搜索接口被遍历,和普通爬虫抓取有什么区别?
- 普通爬虫:请求分散在大量 URL 上,静态资源占比正常,单 IP 速率不高但覆盖广。
- 遍历型:请求高度集中在少数路径,比如
/search、/list、/api/query,参数千变万化,静态资源几乎为零。 - 危害也不在带宽。带宽常常只涨两三成,但查询成本、数据库连接、搜索服务负载先崩。
- 三个判据记住:搜索页请求占比、单 IP 唯一查询数、结果页深度分布。
Q:日志上怎么把遍历行为认出来?
# 1. 各路径请求量占比,看搜索是不是突然排到前列
awk '{print $7}' access.log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -20
# 2. 同一 IP 触发过多少个不同查询(去重后按 IP 统计)
awk -F'"' '/\/search/ {split($2,q," "); split($0,f," "); print f[1], q[2]}' access.log \
| sort -u | awk '{print $1}' | sort | uniq -c | sort -rn | head
# 3. 分页深度分布,真实用户极少翻过第 5 页
grep -oE 'page=[0-9]+' access.log | cut -d= -f2 | sort -n | uniq -c | tail -20
# 4. 静态资源请求数,拿去和搜索请求数对比
grep -cE '\.(css|js|png|jpg|webp|svg|woff2)(\?|$)' access.log
- 第 2 条最有效。正常用户一天换不了几十个关键词,遍历脚本一个 IP 能跑几千个。单 IP 唯一查询数超过 200,基本可以定性。
- 第 3 条看形状。真人集中在 1 到 3 页,遍历型会一路翻到第 50 页、第 100 页,甚至越界报错还在继续。
- 第 4 条做交叉验证。搜索请求上千而静态资源请求只有个位数,说明对方根本没看页面,是在直接打接口。
Q:参数组合的暴露面到底有多大?
- 算一遍就明白:关键词 5000 个,分类 20 个,价格区间 6 段,排序 4 种,分页 50 页。
- 乘起来是一亿两千万个 URL。爬虫不需要全爬,只需要挑最贵的那条组合反复打。
- 一个关键词翻 50 页、每页 20 条,就是 1000 条数据;1000 个关键词就是百万条,整站商品或文章库基本搬空。
- 所以防护的着眼点不是「页面数」,而是参数笛卡尔积。把维度砍掉,比封 IP 有用得多。
Q:Nginx 层怎么给搜索接口单独限流?
- 搜索必须单独一个 zone,阈值比浏览页紧一到两个数量级,并且拒绝要返回 429,不要用 444。444 直接关连接、不写日志,事后没有证据。
# http 块
limit_req_zone $binary_remote_addr zone=search:10m rate=6r/m;
limit_req_zone $binary_remote_addr zone=browse:10m rate=60r/m;
limit_conn_zone $binary_remote_addr zone=sconn:10m;
server {
location = /search {
limit_req zone=search burst=3 nodelay;
limit_conn sconn 4;
limit_req_status 429;
limit_conn_status 429;
limit_req_log_level warn;
# 空关键词直接拒,脚本经常先探测空查询
if ($arg_q = "") { return 400; }
# 深度截断:page 三位数以上一律拒,见 Q3 的深度分布
if ($arg_page ~ "^[0-9]{3,}$") { return 403; }
proxy_pass http://backend;
}
location / {
limit_req zone=browse burst=60 nodelay;
proxy_pass http://backend;
}
}
burst=3是给真人改关键词留的余量,不能再小,否则用户连搜两次就被拦。limit_req_log_level warn要显式写。默认是 error,被限流的每个请求都会往 error log 写一条,限流规则自己就能把磁盘写满。- 参数白名单更彻底:只放行 q、page、sort、cat 四个参数,其余用
$args判断直接丢弃或拒绝。
Q:光限流够不够?应用层还得做什么?
- 不够。限流挡的是频率,挡不住「低频但覆盖广」的分布式遍历。应用层要砍掉查询本身的成本。
- 结果总数封顶:搜索服务里把深度查询限制在固定上限内,超出直接提示「结果过多,请细化关键词」,不要让它扫到底。
- 深度上限:页码乘每页条数不超过 1000。超过这个值的结果,业务上本来就没人看。
- 关键词约束:长度不超过 30 字,字符集只允许中英文数字和少量符号,超长或含特殊字符直接拒。
- 关掉精确总数:搜索页顶部那个「共 12345 条」是最贵的一步统计。压力大时降级为「约 1 万条」,能省掉一半开销。
Q:缓存能不能救搜索接口?
- 能,但前提是缓存键归一化。默认用整个请求 URI 做键,每个参数组合都是新 key,命中率接近零。
- 做法是只保留白名单参数,并对关键词做 trim、转小写、去特殊字符,让同一语义的查询落到同一个键上。
proxy_cache_path /data/cache levels=1:2 keys_zone=scache:100m max_size=2g inactive=10m;
location = /search {
proxy_cache scache;
proxy_cache_key "$scheme$host$uri$arg_q$arg_page$arg_cat";
proxy_cache_valid 200 60s;
proxy_cache_lock on;
proxy_cache_use_stale updating error timeout;
proxy_pass http://backend;
}
proxy_cache_lock on很重要。没有它,同一个未命中查询会被几十个并发请求同时穿透到后端。- 热门关键词可以预热:把访问量前 500 的词在业务低峰跑一遍,命中率立刻上一个台阶。
- 但长尾词天然不命中,而爬虫恰恰专挑长尾。缓存是省钱手段,不是主防线。
Q:搜索接口要不要对未登录用户全开?
- 分级开放更现实:基础搜索对所有人开放,多维筛选、时间区间、精确排序这类高成本组合要求登录或降低频率。
- 要考虑 SEO。搜索页对长尾词确实有流量价值,一刀切登录会把自然流量一起砍掉。
- 稳妥做法是按来源分层:搜索引擎蜘蛛走验证过的白名单,普通用户给正常频率,异常频率才触发验证。
- 搜索结果页统一输出
noindex, follow,避免大量参数页被收录成垃圾内容;需要收录的分面导航,用 canonical 指向主列表页。
Q:拦错了会误伤谁?怎么避免?
- 真人连搜:改关键词、改价格区间、后退再搜,一分钟内四五次很正常,burst 给小了立刻 429。
- 弱网重试:移动端同一个查询连续重试三次很常见,同 query 短时间重复不该计次。
- 出口 NAT:公司、学校、运营商大内网共用出口,按 IP 限流会连坐一片。这时要补 UA 与 Cookie 维度,登录用户按用户 ID 限。
- 自家工具:可用性监控、比价插件、合作方接口调用,一律先加白名单,别把自己的监控拦了。
- 上线顺序:先只记录不拦(观察模式跑三到七天)→ 只对超阈值返回 429 → 最后才触发人机验证。
Q:还有什么补充建议?
- 把搜索接口当对外 API 管:参数白名单、频率配额、结果上限、调用方标识,四项写进文档。当它不是页面而是接口,防护思路立刻就清楚了。
- 监控三个指标:搜索请求占比、单 IP 唯一查询数、搜索 P95 耗时。只看总 QPS 一定漏,因为搜索的量级永远打不过静态页。
- 把搜索服务与主站隔离:独立实例或至少独立连接池。搜索被打挂时,首页和详情页还能正常打开,损失立刻小一个量级。
- 搜索不可用时返回静态热门列表,比直接 502 体面得多,也不会把爬虫的错误页收进索引。
- 最后一句话:搜索接口防护的重点不是「挡住爬虫」,而是让一次查询变得不便宜。