UA黑名单

站点被爬虫批量抓取后，搜索引擎会收录大量无价值页面，稀释权重、拖垮抓取配额。本文用 9 个问答讲清垃圾收录的成因、参数页与站内搜索的封堵、canonical 与 noindex 的正确用法、已收录页面的清理流程。

网页还能靠前端混淆挡一挡，APP 和小程序的接口一旦被抓包，爬虫就能绕开页面直接拿数据。本文用 9 个问答讲清接口被爬的定位方法、签名与防重放的正确设计、参数枚举识别、网关限速与封禁配置，代码均可直接复制。

CPU 飙高、带宽跑满、日志里全是陌生域名——服务器很可能被别人挂了蜘蛛池或站群程序。本文用 9 个问答讲清怎么自查陌生 Host 与出口滥用，给出未绑定域名一刀切断连、爬虫分档限速、抓取配额管理的可复制配置，以及外链被污染后的处置方法。

爬虫请求被统计工具当成真实访客计入，PV 虚高、跳出率失真、来源混乱，运营和 SEO 决策全被带偏。本文用 9 个问答讲清日志层污染和统计层污染怎么分别排查，给出可直接复制的 Nginx 爬虫分流日志配置、日志集合差筛选法与统计工具过滤设置。

搜索引擎里出现了一个内容和你一模一样、域名却不是你自己的站点，这就是整站镜像。本文用 10 个问答讲清镜像爬虫的特征、怎么从日志里抓出来、robots 与 canonical 为什么挡不住、Nginx 与 ipset 该怎么封，以及内容已被镜像后在 SEO 和法律层面怎么处理。

很多站长只做一次反向 DNS 验证，就以为放行的一定是真蜘蛛。实际上 PTR 记录可自定义、云租户与官方抓取段同属一个 ASN、采集服务直接租蜘蛛段，三种情况都能骗过验证。本文用 9 个问答讲清三段式验证怎么写、官方 IP 段怎么精确收窄、白名单只免拦截不免限速的配置，以及日志里怎么分辨真假蜘蛛。

封一个 IP 就来十个，这是分布式爬虫的典型特征。本文用 9 个问答讲清怎么判断抓你站的是一批同源 IP、如何按 C 段聚合封禁、ASN 维度封禁为什么更彻底、ipset 高性能封段配置，以及怎么避免误伤真实用户与搜索引擎蜘蛛。

现在的采集爬虫会伪造 UA、挂代理、控制访问速度，单看 IP 和 User-Agent 已经分不出来。本文用 8 个问答讲清从访问节奏、路径规律、资源加载三个维度识别伪装爬虫的实战方法，附 Nginx 日志字段配置、awk 分析命令与分级处置策略。

商品价格、文章内容、用户列表被同行批量采集，是很多站长看不见的损失。本文用 8 个问答讲清如何从日志判断数据正在被采集、为什么封 IP 防不住专业爬虫、蜜罐陷阱链接与接口签名怎么部署，以及 Nginx 限速与分级验证的完整配置。

恶意爬虫和搜索引擎爬虫怎么区分？本文讲清两者在身份、行为、协议遵守上的区别，附真假蜘蛛的反向 DNS 验证方法和 Nginx 放行蜘蛛、拦截恶意爬虫的实战配置，帮站长防爬虫不误伤 SEO 收录。

网站突然变慢、CPU 飙高、带宽打满，很可能不是攻击而是恶意爬虫在疯狂抓取。本文用 8 个问答讲清如何判断爬虫导致的服务异常、如何通过日志定位爬虫 IP、Nginx 限速与封禁的实战配置，以及长期防护方案。