网站图片被批量下载?防盗用分层与取证

网站图片被批量下载,往往既不告警也不影响访问,只在月底账单上出现。本文讲清怎么从日志里认出来、怎么分层防护、怎么留证追溯。

Q:图片被搬走有哪几种形式,伤害各在哪?

  • 外链盗用:别人站点直接引用你的图片地址。页面照常访问,你的出向带宽被吃掉,日志里 referer 是别人的域名。
  • 批量下载:采集脚本或图库搬运工按目录、按 ID 顺序把原图拉走。搬走的是内容,抢走的是图片搜索流量。
  • 图床滥用:你的上传接口被当成免费图床刷。除了流量,还带来存储膨胀和违规内容审核风险。

三者判据完全不同,一句话记住:外链看 referer,下载看图片与页面的比例,图床看上传接口。搞混了就会用错手段,比如拿 referer 白名单去挡批量下载,一点用没有。

Q:日志里怎么把批量拉图的人揪出来?

# 1) 单 IP 的图片请求数与字节数 TOP 20
awk '{ split($0,a,"\""); u=a[2]; sub(/^[A-Z]+ /,"",u); sub(/ .*/,"",u);
       if(u ~ /\.(jpe?g|png|gif|webp|avif)$/){ n[$1]++; b[$1]+=$10 } }
     END{ for(k in n) printf "%s img=%d bytes=%d\n",k,n[k],b[k] }' access.log \
  | sort -t= -k2 -nr | head -20

# 2) 图片来源分布(空 referer 单独归一类)
awk '{ split($0,a,"\""); u=a[2];
       if(u !~ /\.(jpe?g|png|gif|webp|avif)/) next;
       r=a[4]; sub(/^https?:\/\//,"",r); sub(/\/.*/,"",r);
       if(r=="") r="(empty)"; c[r]++ }
     END{ for(k in c) print c[k], k }' access.log | sort -rn | head -20

# 3) 全站图片与页面的请求比
awk '{ split($0,a,"\""); u=a[2];
       if(u ~ /\.(jpe?g|png|gif|webp|avif)/) i++; else p++ }
     END{ printf "img=%d page=%d ratio=%.1f\n", i, p, i/p }' access.log

判读标准:正常站点的图片与页面请求比通常在 8:1 到 30:1;一个 IP 的图片请求数远大于页面数、且几乎不请求 CSS 与 JS,就是典型采集器。整站比例突然涨到几百比一,说明有人在整站拉图。

Q:三种行为怎么在同一份日志里分开?

  • 外链盗用:referer 主机不是本站,且集中在少数几个域名;UA 是正常浏览器;请求量跟对方页面访问量同步波动。
  • 批量下载:referer 为空或固定一个站内地址;单个 IP 的图片请求数上千;请求顺序严格按 ID 或目录递增;没有伴随的页面请求。
  • 图床滥用:命中 POST 上传接口;上传频率高、文件体积小、文件名随机;部分请求的 Content-Type 与实际后缀不符。
# 按小时看单个 IP 的图片请求曲线,判断是「人工浏览」还是「持续拉取」
awk '{ split($0,a,"\""); u=a[2];
       if(u ~ /\.(jpe?g|png|gif|webp|avif)/){ split($4,t,":"); c[$1" "t[2]]++ } }
     END{ for(k in c) if(c[k]>200) print k, c[k] }' access.log | sort -k2

Q:只配 referer 白名单够不够?

不够,它只挡得住「老实的外链」,挡不住三种情况:

  • 空 referer:curl、脚本、下载工具默认不发 referer。而 Nginx 的 valid_referers none 恰好会放行这类请求。
  • 伪造 referer:一条 -e 参数就能伪装成任何来源,成本为零。
  • APP 与小程序直连:客户端原生请求通常不带 referer,一刀切会把自家客户端也挡掉。

所以 referer 是成本最低的第一层,作用是提高门槛、减少顺手盗链,不是终局方案。真正的门槛是签名(下一问)与配额。

Q:边缘层怎么限住批量下载?

location ~* \.(jpe?g|png|gif|webp|avif)$ {
    limit_req  zone=img burst=20 nodelay;
    limit_req_status 429;
    limit_conn imgconn 8;
    limit_rate_after 512k;   # 首屏不受影响,超 512k 才限速
    limit_rate 1m;
    valid_referers server_names *.example.com;
    if ($invalid_referer) { return 403; }
    add_header Cache-Control "public, max-age=604800" always;
}
  • 注意这里没有写 none。写了等于给脚本开口子;是否需要,取决于你的 APP 和小程序走不走同一个域名。
  • 429 不要换成 502,否则前端会自动重试,把压力放大。
  • limit_rate 只对源站出口生效。有 CDN 时,被刷的是边缘流量,源站限速管不到,必须在 CDN 侧做。

Q:签名 URL 怎么设计才不会被复用?

原则是绑定路径与过期时间,不绑定 IP(移动网络会换 IP,绑了必然误伤):

# 生成:md5(过期时间 + 路径 + 密钥) → 放进查询参数
uri="/photo/2026/a.jpg"; exp=$(( $(date +%s) + 600 ))
sig=$(printf '%s%s secret' "$exp" "$uri" | openssl md5 -binary | openssl base64 \
      | tr '+/' '-_' | tr -d '=')
echo "https://img.example.com${uri}?e=${exp}&s=${sig}"

# 校验:Nginx secure_link
location /photo/ {
    secure_link $arg_s,$arg_e;
    secure_link_md5 "$secure_link_expires$uri secret";
    if ($secure_link = "")  { return 403; }
    if ($secure_link = "0") { return 410; }   # 签名对但已过期
}

要点有三:有效期短(10 分钟足够渲染页面)、只对原图收费源(缩略图保持公开,保住图片搜索收录)、密钥可轮换(双密钥并存七天再切,避免上线瞬间全站 403)。

签名挡的是「复制链接直接用」,挡不住「带着合法签名边看边存」。所以它要和其他层叠着用,不单独扛。

Q:CDN 侧怎么止损流量费?

  • 按 referer 域名直接 403:不用 302 跳转,跳转本身仍是一次计费请求。
  • 流量封顶告警:80% 预警、95% 通知、100% 触发兜底策略(降级或仅放行白名单)。
  • 回源保护:源站只放行 CDN 回源段,并校验回源鉴权头,防止有人绕过 CDN 直连源站拉图。
  • 尺寸归一化:开启实时图片处理,列表页只出缩略图;缓存键去掉无用参数,避免同一张图被缓存成几十份。

记一句话:CDN 按边缘出流量计费,外链烧的是边缘流量。所以防盗链规则要配在边缘,配在源站等于没配。

Q:水印和指纹怎么用于取证?

  • 可见水印:角落半透明站名,主要起声明作用,对去水印的搬运挡不住。
  • 唯一标识:给不同渠道分发带不同参数的图片地址,发现外流即可反查是哪个渠道漏的。注意参数会影响缓存命中,建议放在路径里而非查询串。
  • 蜜标图:图库里放几张只出现在特定页面的图,被搬走后能确认抓取时间与入口。
  • 隐形水印:频域或最低有效位嵌入,成本高、通常只有版权方用,抗压缩能力有限。

定位要清楚:取证是事后追溯,不是防护手段。它能证明图片从你这漏出去,但拦不住下一次抓取。

Q:防盗用会不会伤 SEO 和真实用户?

  • 给搜索引擎放行:按官方 IP 段放行原图访问,robots 不要封图片目录。图片搜索是很多站的主要流量来源,封了等于自断一路。
  • 缩略图永远公开:只对原图加签名,列表与详情页的展示图不加门槛,用户感知不到变化。
  • 四类白名单先配:搜索引擎、CDN 回源、合作方与联盟、自家 APP 与小程序。
  • 灰度上线:先观察七天只打标记不拦截,再对原图生效,最后才考虑对全站图片生效。
  • 上线后盯三个数:图片请求的 403 比例、图片搜索收录量、真实用户投诉量。
# 验证自家 APP 与蜘蛛是否被误伤(换 UA 与来源测试)
curl -s -o /dev/null -w '%{http_code}\n' -A 'Baiduspider' https://img.example.com/photo/2026/a.jpg
curl -s -o /dev/null -w '%{http_code}\n' -e '' https://img.example.com/photo/2026/a.jpg

Q:还有什么补充建议?

  • 图库类站点把原图放对象存储走签名,源站只留缩略图,这样即使源站被打穿也搬不走原图。
  • 每季度做一次模拟下载:写脚本按 ID 拉 500 张,统计成功多少张、平均耗时。这个数字才是防护效果的真实评分。
  • 日志至少留 30 天,取证时要能拼出「谁、什么时间、拉了哪些图」的完整时间线。
  • 最后一句:能被一次性打包下载的图库,早晚会被搬空。防护的目标不是零下载,是让批量搬运的成本高过买图。