反爬方案选型:自建规则、云WAF、风控怎么选

反爬方案选型常被简化成一个问题:要不要买 WAF。实际上反爬分三层,每层的成本和能力边界完全不同。本文讲清三类方案各能挡什么、怎么落地、怎么验证。

Q:反爬方案到底分几类?

  • 边缘规则层:Nginx、云 WAF 的自定义规则。判 UA、IP、频率、路径、参数,成本最低,拦住的是粗糙爬虫。
  • 人机识别层:JS 挑战、验证码、设备指纹、TLS 指纹。核心是判断「对面是不是真浏览器和真人」,绕过成本明显抬高。
  • 业务风控层:登录态、签名、账号维度配额、行为序列。它不看你像不像爬虫,只看你做的事合不合业务逻辑。

三层是叠加关系,不是替代关系。越往下越难绕过,但改造和维护成本越高。选型的本质是:你的数据值多少钱,愿意为它付多少维护成本。

Q:只靠 Nginx 规则能撑到什么时候?

  • 能挡掉:固定 UA、明显无头、频率异常、只抓列表不加载静态资源的采集器。这类占恶意流量的大头。
  • 挡不住:住宅代理池轮换、真实浏览器集群、低频慢速、按业务节奏抓。这些在日志里和真人几乎一样。
  • 适合谁:内容量不大、没有账号体系、预算为零的站。它能把带宽和 CPU 压力降下来,但挡不住定向采集。
# 最小可用的两道规则:UA 黑名单 + 按 IP 频率
map $http_user_agent $bad_ua {
    default 0;
    "~*(python-requests|scrapy|headlesschrome|go-http-client)" 1;
}
limit_req_zone $binary_remote_addr zone=perip:10m rate=60r/m;

server {
    if ($bad_ua) { return 403; }
    location / {
        limit_req zone=perip burst=20 nodelay;
        limit_req_status 429;
    }
}

注意 if 里只允许 return 和 rewrite,别在里面写 proxy_pass,否则会出现难以排查的行为异常。

Q:云 WAF 的 Bot 管理值不值得买?看哪几个能力?

  • 别看「有没有 Bot 库」,看五个能力:规则能否按路径和参数细分、挑战能否分级(只放行、挑战、直接拦)、有没有观察模式、日志能否导出原始字段、误杀能否自助加白。
  • 计费口径比价格重要:按请求数还是按带宽、Bot 管理是否单独收费、挑战请求算不算钱。
  • 一个硬要求:必须能按路径设不同策略。全站一个策略,要么拦不住详情页采集,要么把正常用户全挡了。
  • 能自助查日志的才值得买。出问题只能提工单等回复的,误杀发生时你会非常被动。

Q:商业风控 SDK 和设备指纹适合什么业务?

  • 适合登录、注册、下单、领券、抽奖这类有账号、有钱的接口。它靠设备与环境特征聚类,对批量注册和群控特别有效。
  • 不适合纯内容页抓取。要在每个页面塞 SDK,改造成本高、覆盖率低,投入产出比很差。
  • 合规成本要算进去:采集设备特征涉及个人信息处理,需要隐私告知与必要性说明,别默认「装上就完事」。
  • 还有一个隐性成本是申诉通道。没有人工复核流程,正常用户被判定风险设备后无处申辩。

Q:预算有限,怎么排一套最小可行的反爬?

顺序很重要,跳步会返工:

  • 先收入口:关掉目录索引、下线测试域名、sitemap 只留该收录的。零成本,收益最大。
  • 再上观察模式:UA 与频率规则先只记日志不拦截,跑一周看会误伤谁。
  • 然后给关键接口加门槛:列表、搜索、详情接口单独限频,别全站共用一个桶。
  • 最后才考虑买:确认自建手段到了天花板,再上云 WAF 或风控。
# 观察模式:命中规则只打标记,不拦截
map $http_user_agent $bot_flag {
    default 0;
    "~*(python-requests|scrapy|headlesschrome)" 1;
}
log_format botwatch '$remote_addr $bot_flag "$request" $status $body_bytes_sent';
access_log /var/log/nginx/botwatch.log botwatch;

观察一周后统计命中量与误伤量,再决定是否真的返回 403。这一步能省掉绝大多数上线事故。

Q:怎么评估效果,不被「拦截了多少万次」忽悠?

  • 拦截次数是最没意义的指标。拦十万次可能只是把正常用户也拦了,也可能只是挡了几个扫描器。
  • 看四个指标:源站带宽与 CPU 是否下降、恶意请求占比是否下降、正常用户 403 与 429 比例是否低于 0.5%、搜索引擎抓取成功率是否不变。
  • 前两个证明有效,后两个证明没防过头。只看前两个,很容易把「拦得太狠」当成「防得好」。
  • 对比基准用上线前 7 天同时段,不要用全天平均,也不要用上个月的数据。
# 上线前后同时段对比:请求量与错误率
for d in 2026-11-10 2026-11-19; do
  echo "== $d =="
  grep "$d" /var/log/nginx/access.log \
    | awk '{n++; if($9 ~ /^(4|5)/) e++} END{printf "req=%d err=%.2f%%\n", n, e*100/n}'
done

Q:POC 怎么跑,才不至于上线翻车?

  • 先旁路或镜像,别一上来全量切。用真实流量验证规则,比在测试环境造数据可靠得多。
  • 跑满七天:覆盖工作日与周末,很多误杀只在特定时段出现。
  • 白名单先配好再开拦截:支付回调、监控探针、搜索引擎、合作方接口,这四类漏一个就是事故。
  • 准备一键回滚,并真的演练一次。没演练过的回滚,等于没有回滚。

Q:三类方案的成本结构差在哪?

  • 边缘规则:几乎零月费,成本是人力。要有人持续维护,否则三个月就荒废。
  • 云 WAF:月费可预期,成本是流量费。按请求计费时,被刷量本身就是账单风险。
  • 风控 SDK:单价最高,成本是改造与合规。接入周期长,涉及个人信息要评估。
  • 真正的隐性成本是误杀损失。一次把支付回调拦掉,损失可能超过全年防护费。

Q:还有什么补充建议?

  • 先用日志算出恶意请求占比。低于 20% 的话,优先做入口收敛和频率规则,别急着买。
  • 方案再多也替代不了最低限度的日志能力。没有能分路径、分 UA、分状态的日志,任何方案都无法验证。
  • 每次选型都写下三条:要挡什么、能接受多少误杀、出问题谁负责。写不出来就先别买。
  • 最后一句:反爬没有一劳永逸的选型,只有持续维护的成本。选一个你养得起的方案。