UA黑名单

搜索引擎里出现了一个内容和你一模一样、域名却不是你自己的站点，这就是整站镜像。本文用 10 个问答讲清镜像爬虫的特征、怎么从日志里抓出来、robots 与 canonical 为什么挡不住、Nginx 与 ipset 该怎么封，以及内容已被镜像后在 SEO 和法律层面怎么处理。

很多站长只做一次反向 DNS 验证，就以为放行的一定是真蜘蛛。实际上 PTR 记录可自定义、云租户与官方抓取段同属一个 ASN、采集服务直接租蜘蛛段，三种情况都能骗过验证。本文用 9 个问答讲清三段式验证怎么写、官方 IP 段怎么精确收窄、白名单只免拦截不免限速的配置，以及日志里怎么分辨真假蜘蛛。

封一个 IP 就来十个，这是分布式爬虫的典型特征。本文用 9 个问答讲清怎么判断抓你站的是一批同源 IP、如何按 C 段聚合封禁、ASN 维度封禁为什么更彻底、ipset 高性能封段配置，以及怎么避免误伤真实用户与搜索引擎蜘蛛。

现在的采集爬虫会伪造 UA、挂代理、控制访问速度，单看 IP 和 User-Agent 已经分不出来。本文用 8 个问答讲清从访问节奏、路径规律、资源加载三个维度识别伪装爬虫的实战方法，附 Nginx 日志字段配置、awk 分析命令与分级处置策略。

商品价格、文章内容、用户列表被同行批量采集，是很多站长看不见的损失。本文用 8 个问答讲清如何从日志判断数据正在被采集、为什么封 IP 防不住专业爬虫、蜜罐陷阱链接与接口签名怎么部署，以及 Nginx 限速与分级验证的完整配置。

恶意爬虫和搜索引擎爬虫怎么区分？本文讲清两者在身份、行为、协议遵守上的区别，附真假蜘蛛的反向 DNS 验证方法和 Nginx 放行蜘蛛、拦截恶意爬虫的实战配置，帮站长防爬虫不误伤 SEO 收录。

网站突然变慢、CPU 飙高、带宽打满，很可能不是攻击而是恶意爬虫在疯狂抓取。本文用 8 个问答讲清如何判断爬虫导致的服务异常、如何通过日志定位爬虫 IP、Nginx 限速与封禁的实战配置，以及长期防护方案。

通过 Nginx map+if 实现恶意 User-Agent 黑名单拦截，覆盖 sqlmap、爬虫、扫描器等常见 UA，命中直接返回 403 且不消耗业务资源，附完整配置、验证命令与限频兜底方案。