RSS订阅源被爬虫狂拉怎么办?feed防护

RSS订阅源常被当成免费的批量数据接口:一次请求换回几十篇全文,无分页摩擦、不加载图片、少触发人机验证。本文讲清 feed 为何成爬虫最爱、日志怎么认、Nginx 与缓存层怎么设卡。

Q:爬虫为什么盯着 RSS 和 feed 不放?

  • 投入产出比太高。抓一个列表页只拿到标题和链接,抓一个 feed 能一次拿到二十到五十篇正文。
  • 没有分页摩擦。feed 用 ?paged=N 翻页,一个 URL 模板就能把历史内容全拉完。
  • 规则常常漏掉它。多数人只在 HTML 页面上做 UA 过滤和行为分析,feed 是另一套 URL,规则没继承过来。
  • 请求特征太干净。不加载 css、js、图片,没有静态资源请求,行为画像里几乎看不到异常。
  • 缓存与 CDN 常把它排除在外。为了内容新鲜,feed 往往不缓存,每个请求都直打数据库。

Q:日志里怎么确认是 feed 在被拉?

# 1. feed 类路径的请求量与占比
awk '{print $7}' access.log | grep -Ei "/(feed|rss|atom)(/|\?|$)" | wc -l
awk '{print $7}' access.log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -20

# 2. 单 IP 的 feed 请求数 TOP10
awk '{print $1, $7}' access.log | grep -Ei "/(feed|rss|atom)" \
  | awk '{print $1}' | sort | uniq -c | sort -rn | head -10

# 3. 翻页深度分布,看有没有人一路翻到底
grep -Eo "paged=[0-9]+" access.log | sort -t= -k2 -n | uniq -c | tail -20
  • 正常订阅者三个特征:间隔固定(十五到六十分钟一次)、只取第一页、UA 是阅读器或订阅服务。
  • 恶意抓取三个特征:秒级连续请求、paged 一路翻到几十页、UA 为 curl、python-requests、Go-http-client 之类。
  • 还有一个硬指标:feed 请求数远超真实订阅数。后台显示两百个订阅者,日志里每小时三千次 feed 请求,多出来的就是抓取。

Q:为什么说 feed 是流量的「放大器」?

  • 一次请求的成本接近五十次页面访问:数据库要查最新 N 篇的全文,模板还要完整渲染一遍。
  • WordPress 的 ?feed=rss2 与 /feed/ 是两个入口,只封一个等于没封。
  • 每个 feed 请求都走一次完整的 PHP 启动、插件加载、对象缓存初始化,固定开销比页面还高。
  • 所以 feed 被刷的典型表现不是带宽爆,而是 CPU 与数据库连接数先上去,页面变慢然后开始 502。
  • 判断方法:把 feed 请求占比和 PHP-FPM 活跃进程数放在一起看,比只看总 QPS 准得多。

Q:Nginx 层怎么给 feed 单独设卡?

  • 关键是独立限流桶。和全站共用一个 zone,正常浏览会把额度吃掉,feed 反而限不住。
limit_req_zone  $binary_remote_addr zone=feed_req:10m  rate=10r/m;
limit_conn_zone $binary_remote_addr zone=feed_conn:10m;

server {
    listen 443 ssl;
    # 反代或 CDN 场景必须先还原真实 IP,否则一限全站
    set_real_ip_from 10.0.0.0/8;
    real_ip_header   X-Forwarded-For;
    real_ip_recursive on;

    location ~ ^/(feed|rss|atom)/? {
        limit_req  zone=feed_req burst=3 nodelay;
        limit_conn feed_conn 2;
        limit_req_status  429;
        limit_conn_status 429;
        # 默认 error 级别会被限流自身刷爆日志
        limit_req_log_level warn;
        access_log /var/log/nginx/feed.log;
        try_files $uri $uri/ /index.php?$args;
    }
}
  • rate=10r/m 对应每六秒一次。真人阅读器最勤也就一分钟一次,这个额度足够。
  • 一定要保留 burst=3。完全没有 burst 时,阅读器一次并发补拉两条就会拿到 429。

Q:深翻页怎么截断?

  • 真实阅读器极少翻过第二页,历史归档需求用 sitemap 满足更合理。
# 只放行第一、第二页,其余拒绝
map $arg_paged $feed_paged_bad {
    default 0;
    ""      0;
    "1"     0;
    "2"     0;
    ~^\d+$  1;
}

server {
    if ($feed_paged_bad) { return 403; }
}
  • 用 map 加 return,不要在 if 里写 rewrite 或 proxy_pass,那个组合在 location 内行为不可控。
  • ?author=、?s= 同样能批量输出,常和 feed 一起被利用,规则要一起加。
  • 截断后记得复核:随便挑三个历史分页 URL,确认返回 403 而不是 502。

Q:干脆关掉全文输出,行不行?

  • 行,而且这是最有效的一刀:把 feed 从「一次拿五十篇全文」降级成「一次拿五十条摘要」,抓取成本直接回到页面级。
  • WordPress 后台路径:设置 → 阅读 → 对 syndication feed 使用摘要。
  • 要更细的控制,用代码:
// functions.php:feed 只输出摘要,并压缩条数
add_filter('excerpt_length', function ($len) {
    return is_feed() ? 30 : $len;
}, 99);

add_filter('excerpt_more', function () {
    return is_feed() ? '...' : ' ...';
});

// 单次 feed 最多 10 条,降低单请求载荷
add_filter('pre_option_posts_per_rss', function () {
    return 10;
});
  • 代价要想清楚:部分聚合站和阅读器体验下降,可能有人来信投诉。折中方案是给白名单 UA 发全文,其余只发摘要。
  • 原则是公开出口默认给最小可用载荷,谁确实需要全文谁单独申请。

Q:缓存层怎么配才不打死源站?

proxy_cache_path /var/cache/nginx/feed levels=1:2 keys_zone=feed_cache:20m
                 max_size=1g inactive=10m use_temp_path=off;

location ~ ^/(feed|rss|atom)/? {
    proxy_cache            feed_cache;
    proxy_cache_key        "$scheme$host$uri$is_args$args";
    proxy_cache_valid      200 60s;
    proxy_cache_lock       on;
    proxy_cache_use_stale  updating error timeout;
    add_header X-Feed-Cache $upstream_cache_status;
    proxy_pass http://127.0.0.1:8080;
}
  • feed 变化频率低,六十秒缓存命中率通常能到九成以上,被刷时源站几乎无感。
  • 缓存键里不要带 UA、Cookie。带了之后每个爬虫都是一个新对象,缓存等于没开。
  • CDN 侧同理:给 /feed 单独一条规则,别继承 HTML 的「不缓存」策略。
  • 限频挡翻页、缓存挡重复,两件事要一起做,只做一件都不够用。

Q:订阅服务怎么放行,又怎么防伪造 UA?

  • 别只信 UA。UA 就是一行字符串,改动成本为零。
  • 三步验证:UA 与规则匹配 → IP 反解域名 → 是否落在该服务公布的 IP 段内。
# 反解看 PTR 是否属于服务商域名
dig +short -x 52.14.10.20

# 正向再查一次,确认 A 记录能对上,防伪造 PTR
dig +short feed.example-reader.com

# 批量核对白名单
while read ip; do printf "%s " "$ip"; dig +short -x "$ip"; done < feed_whitelist.txt
  • 白名单要写进配置文件而不是靠记忆,每季度核对一次,服务商换段后旧规则会失效。
  • 被限流的订阅服务会主动降频甚至停止订阅,损失的是真实读者,所以放行必须留日志。

Q:站点的「批量出口」一共有几个?

  • 至少六个:RSS/Atom feed、sitemap、搜索页 ?s=、作者归档 ?author=、REST API、oembed。
  • 共同点是一个请求换回一批数据,共同风险是无人限流、无人监控。
  • 统一原则:每个出口都要有配额、有独立日志、有深度上限。
# 从日志里找出所有「单请求返回多条记录」的入口
awk '{print $7}' access.log | sed 's/?.*//' | sort | uniq -c | sort -rn | head -30

grep -Eo "(feed|rss|atom|sitemap|rest_route|wp-json|oembed|author=|paged=)" access.log \
  | sort | uniq -c | sort -rn

Q:内容被 feed 拉走,会不会连带影响 SEO?

  • 会,但路径不是「被抄」这么简单。采集站拿到全文后批量生成页面,比你的站收录更快、数量更大,结果是你原创的内容先出现在别人站上。
  • 搜索引擎不会因为别人先发就判你抄袭,但会看时间线与规模化特征。带原文出处链接的转载风险低,批量去链的镜像风险高。
  • 三个低成本动作:feed 只给摘要、正文里加唯一且可检索的一句原文标识、文章页输出正确的 article:published_time。
  • 发现镜像站后,用搜索结果里的「举报侵权」或 DMCA 通道处理,比改代码见效快。
  • 长期看,把独家数据和表格留在页面里、不放进 feed,是最省力的护城河。

Q:还有什么补充建议?

  • 先观察再拦。新规则先跑一周只记录不拦,看清误伤率再切成 429。
  • 盯四个数:feed 请求数、独立 IP 数、平均翻页深度、feed 回源字节。四个一起看,才能分清是读者变多还是爬虫变多。
  • robots 里的 Crawl-delay 对恶意爬虫无效,但对守规矩的采集器有用,成本极低,顺手写上。
  • 一句话总结:feed 是「一次请求换 N 篇」的批量出口,防护思路永远是限配额、截深度、降载荷三件事。