UA黑名单

恶意爬虫不会随机撞上你的网站，它多半是顺着搜索引擎收录、外链、sitemap、RSS、开放目录一路爬进来的。本文用 9 个问答讲清爬虫发现网站的几类入口，以及逐条收敛的配置方法、日志回溯入口的技巧，并说明收敛入口会不会影响 SEO。

搜索引擎蜘蛛抓取过频同样会把服务器拖慢。本文用9个问答讲清怎么区分真蜘蛛与假爬虫、怎么在Nginx层给合规蜘蛛单独限速、robots.txt与站长后台能做什么设置，以及不误伤SEO前提下降低抓取压力的实战做法。

恶意爬虫总也拦不干净，是因为它在暗处你在明处。本文用 9 个问答讲清爬虫陷阱的原理、隐藏链接与诱饵路径怎么布、命中后如何自动封禁、怎样避免误伤搜索引擎蜘蛛，以及规模化部署与常见坑。

内容被 AI 抓去训练，拦还是不拦？本文用 9 个问答讲清 GPTBot、CCBot、Bytespider 等 AI 爬虫怎么识别、robots.txt 为什么不够用、Nginx 的 UA 与 IP 段怎么配、拦了会不会掉搜索排名，以及「拦训练、放引用」的分层做法。

日志里满屏 404、路径全是猜出来的后台与备份文件名，说明网站正在被目录扫描器踩点。本文用 9 个问答讲清扫描请求的特征、怎么和正常抓取区分、404 洪峰怎么先降速再封禁，以及一套不误伤真实用户的处置配置。

UA 黑名单和 robots.txt 都拦不住的爬虫，多半跑在无头浏览器里。本文用 9 个问答讲清 Headless 爬虫的特征、服务端与前端两层识别方法、JS 挑战与指纹打分怎么落地、CDN 边缘拦截，以及如何设置处置阶梯避免误伤真实用户。

按官方 IP 段放行的蜘蛛为什么还会被冒用？本文用 9 个问答讲清反向 DNS 为什么能被伪造、三步验证法怎么落地、Nginx 只限可疑爬虫的配置、行为层识别指标，以及被滥用的蜘蛛段该怎么处置。

站点被爬虫批量抓取后，搜索引擎会收录大量无价值页面，稀释权重、拖垮抓取配额。本文用 9 个问答讲清垃圾收录的成因、参数页与站内搜索的封堵、canonical 与 noindex 的正确用法、已收录页面的清理流程。

网页还能靠前端混淆挡一挡，APP 和小程序的接口一旦被抓包，爬虫就能绕开页面直接拿数据。本文用 9 个问答讲清接口被爬的定位方法、签名与防重放的正确设计、参数枚举识别、网关限速与封禁配置，代码均可直接复制。

CPU 飙高、带宽跑满、日志里全是陌生域名——服务器很可能被别人挂了蜘蛛池或站群程序。本文用 9 个问答讲清怎么自查陌生 Host 与出口滥用，给出未绑定域名一刀切断连、爬虫分档限速、抓取配额管理的可复制配置，以及外链被污染后的处置方法。

爬虫请求被统计工具当成真实访客计入，PV 虚高、跳出率失真、来源混乱，运营和 SEO 决策全被带偏。本文用 9 个问答讲清日志层污染和统计层污染怎么分别排查，给出可直接复制的 Nginx 爬虫分流日志配置、日志集合差筛选法与统计工具过滤设置。

搜索引擎里出现了一个内容和你一模一样、域名却不是你自己的站点，这就是整站镜像。本文用 10 个问答讲清镜像爬虫的特征、怎么从日志里抓出来、robots 与 canonical 为什么挡不住、Nginx 与 ipset 该怎么封，以及内容已被镜像后在 SEO 和法律层面怎么处理。