企业名录站最值钱的字段就是电话和邮箱,联系方式被爬走等于客户名单被搬空。本文讲清这类抓取的识别特征、两层防护配置、假数据追溯,以及怎么不误伤真实访客。
Q:为什么联系方式是爬虫最想拿的字段?
- 单条价值高:一条有效的企业负责人手机号在黑产有明确报价,批量导出后直接用于电销、诈骗、精准钓鱼。
- 不需要全量:内容抓取追求「量大」,联系方式抓取追求「有效条数」。抓到五千条有效号码,比抓五十万条页面更值钱。
- 愿意慢慢抓:正因为不需要快,攻击者会用住宅代理、低频、按城市行业分批。这类流量在日志里非常像真人。
结论很直接:按 QPS 设的限流对这类抓取几乎无效。它一秒钟只请求一次,你限到每分钟六十次也拦不住。
Q:这类抓取在日志里长什么样?
- 页面类型极单一:只访问详情页和联系页,不点导航、不拉静态资源。正常访客的静态资源占比通常在 60% 以上,采集器往往低于 10%。
- ID 顺序遍历:详情页 ID 严格连号,1001、1002、1003 递增。真人浏览的 ID 是跳跃的。
- 参数按维度批量遍历:城市、行业、页码组合穷举,referer 为空或固定不变。
- 404 比例很低:它拿着准确 ID 表来取,不像扫描器那样乱撞。
# 单 IP 的详情页 ID 连续率(连续率越高越像顺序遍历)
awk '{ip=$1;
if(match($7,/id=([0-9]+)/)){
id=substr($7,RSTART+3,RLENGTH-3);
if(id==last[ip]+1) seq[ip]++;
tot[ip]++; last[ip]=id }}
END{for(k in tot) if(tot[k]>30) printf "%s n=%d seq=%.0f%%\n",k,tot[k],seq[k]*100/tot[k]}' \
/var/log/nginx/access.log | sort -k4 -r | head
# 静态资源占比:正常访客高,采集器极低
awk '{ip=$1;
if($7 ~ /\.(css|js|png|jpg|jpeg|svg|woff2)$/) st[ip]++; else pg[ip]++}
END{for(k in pg) if(pg[k]>100) printf "%s pages=%d static=%d ratio=%.1f%%\n",k,pg[k],st[k],st[k]*100/pg[k]}' \
/var/log/nginx/access.log | sort -t= -k4 -n | head
Q:页面层怎么防,是不是最有效的一层?
是。页面层能在不牺牲体验的前提下把「一键导出」变成「一条条点」,成本极低:
- 默认脱敏:列表和详情页只显示
138****8888,点击「查看完整」再异步取。绝大多数采集脚本不会去模拟点击。 - 异步接口带一次性 token:token 与页面绑定、60 秒过期、用一次即失效。没有 token 直接 403。
- 分字段定级:总机、前台这类公开号码直接展示;负责人手机、企业邮箱必须过门槛。别把最值钱的字段和最不值钱的放同一层。
- 登录后可见:有账号体系的站,把联系方式收进登录态,防护成本立刻下降一个量级。
location ~ ^/company/detail/ {
limit_req zone=detail burst=6 nodelay;
limit_req_status 429;
limit_conn connip 6;
add_header Cache-Control "no-store" always;
}
location = /api/company/contact {
limit_req zone=contact_api burst=2 nodelay;
limit_req_status 429;
add_header Retry-After 30 always;
}
Q:接口层怎么配限额才有效?
- 三维度叠加:IP、账号、会话各设上限,只按 IP 会被代理池绕过,只按账号会被批量注册绕过。
- token 是硬门槛:接口校验 token 存在且未使用过,无效直接 403。这一步比限流更有效,因为脚本拿不到合法 token。
- 日配额按去重条数算:不是按请求次数。同一个号码被查十次只应记一次,否则正常用户反复查看就被限。
- 返回 429 并带 Retry-After,不要返回 502,否则前端会重试放大压力。
limit_req_zone $binary_remote_addr zone=detail:10m rate=12r/m;
limit_req_zone $binary_remote_addr zone=contact_api:10m rate=3r/m;
limit_conn_zone $binary_remote_addr zone=connip:10m;
# 一次性 token 的生成与消费(逻辑示意)
redis-cli SET "ct:$(openssl rand -hex 8)" 1 EX 60 NX
redis-cli GETDEL "ct:<token>"
注意 GETDEL 要 Redis 6.2 以上。低版本用 MULTI 包 GET 加 DEL,或者用 Lua 脚本保证原子性,否则并发下同一个 token 能被用两次。
Q:怎么在不封人的前提下给可疑请求降速?
用「无 referer 且无 cookie」做组合条件,命中后走更严的桶,而不是直接拒绝:
map $http_referer $no_ref {
default 0;
"" 1;
}
map "$no_ref$cookie_session" $crawl_risk {
default 0;
"10" 1; # 无 referer 且无会话 cookie
}
map $crawl_risk $detail_key {
0 $binary_remote_addr;
1 "$binary_remote_addr:risk";
}
limit_req_zone $detail_key zone=detail_risk:10m rate=4r/m;
location ~ ^/company/detail/ {
limit_req zone=detail_risk burst=2 nodelay;
limit_req_status 429;
}
这种写法的好处是只降速不封禁,误伤时用户只是慢一点,不会看到 403。上线前先跑观察模式一周,统计命中量和真实访客占比。
Q:假数据和蜜标怎么用来追溯泄漏源?
- 按访客下发不同的假号码:同一页面每次渲染插入一个格式合法但不可用的号码,与访客标识建立映射。号码被拨打或被添加微信,就能反查到是哪个环节泄露的。
- 假邮箱用 catch-all 域名:每个访客一个唯一前缀,收到邮件即知来源。比假号码更容易自动化统计。
- 假数据必须明显不可用:不能混进真实库,也不能让真实用户误拨。建议统一用保留号段,并在页面上不做强调。
# 给每个访客分配固定假号,映射表落库便于反查
import hashlib
def fake_phone(visitor_id, salt="v1"):
h = int(hashlib.md5((salt + visitor_id).encode()).hexdigest(), 16)
return "138%08d" % (h % 100000000)
它的定位是举证与追溯手段,不是防护手段。假数据能证明数据从你这漏出去,但拦不住抓取。
Q:怎么避免误伤正常访客和搜索引擎?
- 阈值按「有效浏览深度」定,不按请求数:真人看十家企业的详情页是正常行为。要把停留时间、是否加载静态资源、是否有点击行为一起看。
- 白名单先配:搜索引擎 IP 段、合作方接口、监控探针、内部办公网,四类漏一个就是事故。
- 蜘蛛身份必须反解验证:UA 可以随手改。用
dig -x反查主机名,再正解回同一 IP,才认。 - 灰度三段:观察七天、单类规则真拒绝两三天、再全量。避开大促和发版窗口。
# 验证蜘蛛身份:反解 + 正解回同一 IP 才算真
ip=220.181.108.75
host=$(dig -x $ip +short)
dig +short $host | grep -q "$ip" && echo "real spider" || echo "fake"
Q:数据已经被抓走了怎么办?
- 先定位泄漏源:用假数据映射表反查是哪个页面、哪个接口、哪段时间被拿走的。定位不到就别急着改配置。
- 再止损:把被抓的字段加门槛(脱敏或登录可见)、封掉当时开放的批量接口、对已泄漏数据做对外风险提示。
- 最后留证:导出对应时段日志(含 IP、UA、请求序列)、保存假数据命中记录、整理时间线。维权时这套东西比截图有用。
- 与单纯「内容被镜像」不同,联系方式泄漏的直接后果是客户被骚扰,处理优先级要更高。
Q:还有什么补充建议?
- 把联系方式分级:能公开的直接展示,值钱的必须过门槛。一刀切全脱敏会伤体验,全公开等于送数据。
- 每季度自己做一次模拟抓取:用脚本按 ID 遍历一千条,看能拿到多少有效号码。这个数字才是防护效果的真实评分。
- 别指望单一手段。脱敏加 token 加限速加假数据,四层叠起来才让采集成本高到不划算。
- 最后一句:能被一次性导出的数据,早晚会被导出。防护的目标不是零泄漏,是让泄漏成本高于数据价值。