UA黑名单

所有爬虫一个速率，松了被采集打崩，紧了蜘蛛被限速。本文用 10 个问答讲清爬虫分级限速的分档模型、Nginx 多 zone 配额配置、burst 参数怎么定、冒充蜘蛛怎么防，附验证命令。

UA 黑名单加了、限速也开了，带宽和 CPU 却没降。本文用 10 个问答讲清爬虫拦截为什么看着生效实际没用：拦截发生在哪一层、带宽和 CPU 被谁吃掉、怎么三步验证，以及哪些配置错误会让规则悄悄失效。

内容被恶意爬虫整站抓走，光封 IP 解决不了问题。本文用 10 个问答讲清取证三要素、日志固定与哈希存证、页面快照怎么截、平台与云厂商 abuse 举报路径、律师函材料清单，以及技术封禁怎么不误伤搜索引擎。

反爬拦得太松，爬虫把站拖垮；拦得太狠，可能采集了不该采的信息、封掉了整片真实用户。本文用 10 个问答讲清反爬合规的边界：哪些手段最容易越界、指纹与访问日志该怎么存、误封后怎么给申诉通道、封 IP 如何降低连带误伤。

反爬规则拦错人比拦不住更麻烦：搜索引擎蜘蛛被误伤掉收录，合作方接口被拦掉服务，监控探针被拦掉告警。本文用 9 个问答给出一份上线前自查清单，覆盖观察模式、白名单顺序、多层规则冲突排查、灰度节奏与一键回滚。

恶意爬虫不会随机撞上你的网站，它多半是顺着搜索引擎收录、外链、sitemap、RSS、开放目录一路爬进来的。本文用 9 个问答讲清爬虫发现网站的几类入口，以及逐条收敛的配置方法、日志回溯入口的技巧，并说明收敛入口会不会影响 SEO。

搜索引擎蜘蛛抓取过频同样会把服务器拖慢。本文用9个问答讲清怎么区分真蜘蛛与假爬虫、怎么在Nginx层给合规蜘蛛单独限速、robots.txt与站长后台能做什么设置，以及不误伤SEO前提下降低抓取压力的实战做法。

恶意爬虫总也拦不干净，是因为它在暗处你在明处。本文用 9 个问答讲清爬虫陷阱的原理、隐藏链接与诱饵路径怎么布、命中后如何自动封禁、怎样避免误伤搜索引擎蜘蛛，以及规模化部署与常见坑。

内容被 AI 抓去训练，拦还是不拦？本文用 9 个问答讲清 GPTBot、CCBot、Bytespider 等 AI 爬虫怎么识别、robots.txt 为什么不够用、Nginx 的 UA 与 IP 段怎么配、拦了会不会掉搜索排名，以及「拦训练、放引用」的分层做法。

日志里满屏 404、路径全是猜出来的后台与备份文件名，说明网站正在被目录扫描器踩点。本文用 9 个问答讲清扫描请求的特征、怎么和正常抓取区分、404 洪峰怎么先降速再封禁，以及一套不误伤真实用户的处置配置。

UA 黑名单和 robots.txt 都拦不住的爬虫，多半跑在无头浏览器里。本文用 9 个问答讲清 Headless 爬虫的特征、服务端与前端两层识别方法、JS 挑战与指纹打分怎么落地、CDN 边缘拦截，以及如何设置处置阶梯避免误伤真实用户。

按官方 IP 段放行的蜘蛛为什么还会被冒用？本文用 9 个问答讲清反向 DNS 为什么能被伪造、三步验证法怎么落地、Nginx 只限可疑爬虫的配置、行为层识别指标，以及被滥用的蜘蛛段该怎么处置。