llms.txt怎么写?AI爬虫抓取授权与拦截

llms.txt 常被当成「AI 时代的 robots.txt」,但它既不强制,也拦不住任何爬虫。本文讲清它的结构、写了有什么用、有哪些安全红线,以及要真拦住 AI 爬虫该在哪一层动手。

Q:llms.txt 是什么?和 robots.txt、sitemap 有什么不同?

  • sitemap:给搜索引擎,追求「全」,列出所有 URL 与元数据。
  • robots.txt:给所有自动化工具,说明「能不能抓」,本质是君子协定。
  • llms.txt:给大模型在推理时读,追求「精」,只列最重要的十几到几十个页面,每个附一句说明。
  • 位置在站点根目录 /llms.txt,新版提案也允许放在子路径,例如 /docs/llms.txt 只描述该目录范围。
  • 一句话分清:robots.txt 管能不能抓,llms.txt 管该怎么用。

Q:文件到底该怎么写?

格式是纯 Markdown,顺序固定,下面这份可以直接套用:

# 站点名称

> 一句话说明这个站点是什么、内容覆盖什么,供模型引用时使用。

可选正文:几句补充背景,不要在这里加任何标题。

## 文档

- [快速开始](https://example.com/start): 五分钟上手
- [接口参考](https://example.com/api): 完整接口说明

## 安全专题

- [DDoS 防护](https://example.com/ddos): 清洗与接入方式

## Optional

- [更新日志](https://example.com/changelog)
  • 只有一个 H1,写站点或项目名,这是唯一必需的元素。
  • 紧跟一段引用块摘要,一两句话,要能被直接引用,别写营销口号。
  • 每个 H2 是一个分组,组内是列表,每一项必须是链接,可选在冒号后加说明。
  • URL 用绝对地址,相对地址在文件被复制或离线读取时会失效。
  • Optional 这一节有特殊语义:需要压缩上下文时可以被跳过,放次要参考。

Q:写进 llms.txt 的链接有什么安全红线?

  • 只放公开可访问的页面,这个文件本身是广播,谁都能读。
  • 不要列预发布环境、测试域名、内部后台,等于把资产清单送出去。
  • 不要列带 token、签名或一次性参数的 URL,这些会被存档、被检索、被别人拿去复用。
  • 不要列未公开的接口文档,很多泄露事件就是从一份「方便 AI 读」的目录开始的。
  • 记住这句:llms.txt 是给 AI 的目录,同时也是给攻击者的目录。

Q:写了 AI 就会遵守吗?

  • 不会。llms.txt 是社区提案,不是标准,也没有任何厂商承诺强制执行。
  • 常被一起提到的 llms-full.txt 是另一个约定,用来放页面全文,原提案里并没有定义它。
  • 现实情况是:读不读、怎么读,取决于各家厂商当下的策略,而且会变。
  • 所以它只有引导价值,没有防护价值。把它当防护手段,是最常见的误解。

Q:那还值得写吗?

  • 值得,但目的要摆正:提高 AI 引用你的内容时的准确度,减少模型凭空编造。
  • 把 AI 流量引到你希望被引用的页面上,比等模型随便抓一个旧页面强。
  • 给合作方、客户、集成商一个机器可读的入口,省掉一堆人工对接。
  • 不值得的期待有两个:指望它挡住采集,指望它提升搜索排名。目前它都不是排名因素。

Q:写了会不会反而被抓得更多?

  • 会。这个文件本质是一张「哪里有好东西」的地图,对只想批量取内容的爬虫来说是现成的优先级清单。
  • 验证方法很简单:上线前后各观察两周,对比 AI 类 UA 对正文页的抓取量,别凭感觉判断。
  • 内容靠授权变现的站点,不要写全量目录,只列公开的营销页、帮助中心、产品说明。
  • 折中做法是只写目录不写全文,配套的全文文件一律不上,敏感栏目在摘要里明确写不授权训练。
  • 核心取舍:想被引用和不想被抓,是两个方向的目标,上线前先想清楚要哪一个。

Q:真要把 AI 爬虫挡住,该在哪一层动手?

三层递进,缺一层都会被绕过。robots.txt 声明 → UA 与来源识别 → 行为特征判定。

  • 只按 UA 拦,改个 UA 就绕过去了,必须配合 ASN 段与 PTR 正反查。
  • 正规厂商的爬虫通常有固定 IP 段和可反解的域名,伪造 UA 的往往反查不到。
  • 行为层看频率、路径集中度、静态资源占比,这才是最难伪装的。
map $http_user_agent $ai_bot {
    default 0;
    ~*(GPTBot|ClaudeBot|CCBot|Google-Extended|Bytespider) 1;
}

server {
    location / {
        if ($ai_bot) { return 403; }
        proxy_pass http://backend;
    }
}

if 在 Nginx 里只用于 return 和 rewrite 是安全的,别在里面写 proxy_pass。更精细的做法是用 map 生成限流 key,把 AI 爬虫单独分桶限速而不是直接拒绝。

Q:文件怎么部署才不出错?

  • 放站点根目录,返回 text/plain; charset=utf-8,别让它走动态路由。
  • 缓存时间别设太长,一小时足够,否则内容改了不生效。
  • 动态站点在构建时生成,不要每次请求都查库拼装。
  • 上线前校验三件事:结构是否符合规范、URL 是否绝对地址、链接是否都能返回 200。
location = /llms.txt {
    default_type text/plain;
    charset utf-8;
    add_header Cache-Control "public, max-age=3600" always;
    try_files /llms.txt =404;
}

Q:怎么知道 AI 爬虫有没有真的读它?

  • 在日志里单独统计 /llms.txt 的请求数和来源 UA,这是唯一能验证的方式。
  • 如果只访问了 llms.txt 而正文页没有相应抓取,说明对方只取了目录。
  • 如果正文页出现成规模的抓取,且路径和目录高度吻合,说明它按目录展开了。
  • 再和 robots.txt 的命中情况对照,就能判断对方是否尊重你的声明。
# 谁在读 llms.txt
grep "GET /llms.txt" access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head

# 读过目录之后有没有跟着抓正文
awk '$7 == "/llms.txt" {print $1}' access.log | sort -u > bots.txt
awk 'NR==FNR{a[$1]; next} $1 in a {print $7}' bots.txt access.log | sort | uniq -c | sort -rn | head

Q:还有什么补充建议?

  • 把 llms.txt 纳入发布流程,内容大改时同步更新,别放上去就不管了。
  • 别把它当合规动作,监管和合同都不认这个文件,内容授权要走商务条款。
  • 真正拦得住的是三件套:robots 声明、UA 与 ASN 识别、行为层限速,文件只是其中一环。
  • 定期复核 AI 爬虫 UA 名单,新厂商层出不穷,名单半年不更新基本就废了。
  • 监控上把 AI 爬虫的抓取量与带宽单独拉一条曲线,涨得异常时先限速再谈拒绝。