比价爬虫盯着商品页反复抓,价格一改就被抄走。本文讲清比价爬虫怎么从日志里认出来、哪些入口最容易被整批拉走、限频与价格暗标怎么落地。
Q:比价爬虫和普通采集爬虫有什么不同?
- 目标很窄:只要商品详情页、价格与库存接口、促销字段,文章和资讯一概不碰。
- 频率低但极稳:多数是每小时或每天固定一轮,单 IP 每分钟几次,正好卡在大部分限流阈值之下。
- 画像特殊:从深链接直达、不拉图片和脚本、没有搜索和翻页动作、Referer 常常为空或只指向站内列表。
- 损失直接是钱:价格被实时跟价、促销节奏被抄、库存被摸清后遭恶意囤货。日志里看不出攻击,但账面上看得见。
- 所以别拿 DDoS 的阈值思维套它。按行为画像判,比按 QPS 判准得多。
Q:从日志里怎么认出它?
- 四个视角一起看:单 IP 请求量、商品页占比、访问序列、请求间隔。任何一项单看都不可靠。
# 1. 单 IP 请求量 TOP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
# 2. 商品页与静态资源占比(路径按自己的站改)
grep -c ' /item/' access.log
grep -Ec '\.(js|css|png|jpg|webp|woff2)' access.log
# 3. 单 IP 的访问序列,看是否呈直线遍历
awk '$7 ~ /^\/item\// {print $1, $4, $7}' access.log | head -40
# 4. 同一 IP 的请求时间,看节奏是否机械
awk '$7 ~ /^\/item\// {print $1, $4}' access.log | head -200
- 判据组合:静态资源占比低于 5%、商品页占该 IP 请求 60% 以上、URL 参数按 id 递增、请求间隔标准差极小。
- 一个硬指标是商品页 PV 与下单数的比值。正常电商站通常在 50:1 以内,被比价爬虫盯上后能到 200:1 以上,而且长期平稳,不像促销那样有峰谷。
- 看 Referer 也能分出人机。真人从列表点进详情,爬虫多数直接请求详情,Referer 为空或者干脆伪造成站内地址。
Q:哪些入口最容易被整批拉走?
- 商品详情页:SEO 必须开放,最难防,只能限频不能封。
- 价格与库存接口:sku 参数可枚举,一个循环就能把全站价格拉一遍。
- 搜索与筛选页:参数组合多、翻页深,天然适合批量遍历。
- 移动端与小程序接口:没有 HTML 与静态资源的摩擦,抓取成本最低。
- sitemap 和 feed:一次请求拿到全量地址清单,等于把抓取路线直接送给对方。
- 最大的漏口往往在详情页内嵌的全量 JSON。不少前端框架把整页数据写进 HTML,一次请求等于导出一张表,限频做得再严也白搭。
Q:Nginx 限频怎么配才不误伤?
- 先解决真实 IP。站前有 CDN 或高防却不做还原,一限就是整站被限。
# 白名单走空 key,空 key 不计入限流(版本间有差异,上线前先在自家版本验证)
geo $not_limit {
default 0;
10.0.0.0/8 1;
}
map $not_limit $limit_key {
1 "";
0 $binary_remote_addr;
}
limit_req_zone $limit_key zone=itemreq:10m rate=30r/m;
limit_conn_zone $binary_remote_addr zone=itemconn:10m;
server {
location ~ ^/item/ {
limit_req zone=itemreq burst=10 nodelay;
limit_conn itemconn 4;
limit_req_status 429;
limit_conn_status 429;
add_header Retry-After 30 always;
}
}
- 按路径分桶,别全站共用一个桶。一次刷接口就把正常访客一起限掉,是最常见的误伤来源。
burst要留出正常用户连点几下详情页的余量,nodelay让突发请求先处理完再计数,不加会让正常访客排队。- 返回 429 而不是 403。429 是可重试语义,搭配
Retry-After对搜索引擎也更友好,403 容易被当成永久不可访问。
Q:价格接口怎么防枚举?
- 签名、时间窗、一次性 nonce,三者缺一不可。只有签名没有时间窗,抓包重放照样能刷。
- sku 不要用连续自增 id 直接暴露,换成短链映射或加密参数,把遍历成本抬上去。
- 未登录访客只给区间价或延迟价,精确价与库存必须带登录态。这一条对跨境电商尤其有效。
- 频率要按 IP、账号、设备指纹三个维度同时算。只按 IP 算,换个代理就绕过了。
limit_req_zone $binary_remote_addr zone=priceapi:10m rate=10r/m;
location = /api/price {
limit_req zone=priceapi burst=5 nodelay;
limit_req_status 429;
if ($arg_sku !~ ^\d{1,12}$) { return 400; }
proxy_pass http://backend;
}
if里只做return,不要写rewrite或proxy_pass,这是 Nginx 的硬约束。
Q:什么是价格暗标,值不值得做?
- 做法是对不同访客或不同渠道返回带微小差异的展示内容,比如分位尾数不同,或者在页面里插入一个唯一标记。数据外泄后可以反查是哪个入口漏的。
# 渠道标记:按访问来源插入不可见标识,泄露后可直接定位
location / {
sub_filter '</body>' '<!-- vid:$http_x_visitor_id --></body>';
sub_filter_once on;
}
# 尾数偏移(伪代码):只影响展示价,结算仍取基础价
tail = int(sha1(visitor_id + sku_id)[:2], 16) % 10
display_price = base_price + tail * 0.01
- 两条红线:差异只能影响展示,成交价必须由服务端按基础价结算;不能对不同用户真的卖不同价,那是价格歧视,投诉和舆情都跑不掉。
- 它的价值不在拦,而在可追溯。拦不住的爬虫,至少要知道它是从哪个入口拿的。
Q:误伤了正常用户怎么办?
- 上线前先跑观察模式,只记录不拒绝,看清哪些路径本来就容易触发阈值。
# 只记录不拦截,观察 3 到 7 天
limit_req_dry_run on;
- 白名单分层:搜索引擎蜘蛛用 UA 加反解校验(别只信 UA)、自有拨测与监控、确有授权的比价或渠道合作方。
- 灰度期间盯 429 比例,正常站点应该在 0.5% 以下。超过说明阈值定低了,先调
rate再考虑收burst。 - 规则单独放一个文件,主配置只留一行 include,回滚改一行就够。
Q:拦完之后还要做什么?
- 价格策略要配合:促销价放登录后或券后,公开页面只给常规价。
- 详情页做个性化渲染,不同访客看到的推荐位不同,批量抓走的价值自然下降。
- 监控三个数:商品页 PV 与下单数比值、单 IP 访问深度、429 比例。三个一起看,才分得清是拦住了还是对方只是换了 IP。
- 别把希望放在 UA 黑名单上。比价爬虫的 UA 通常是真实浏览器,改一行代码就能换。
Q:还有什么补充建议?
- 比价爬虫拦不到 100%,目标是抬高成本、留下痕迹,不是彻底清零。
- 别把反爬和 SEO 对立起来。robots.txt 只对守规矩的爬虫有效,真正的解法是按路径分桶,该开放的开放,该限的限。
- 访问日志至少留三十天,按 IP 与路径能查得动,出问题时才有证据链。
- 一句话总结:价格保护的关键不是拦得住,而是谁能拿到、拿到之后你能不能知道是谁。