llms.txt 常被当成「AI 时代的 robots.txt」,但它既不强制,也拦不住任何爬虫。本文讲清它的结构、写了有什么用、有哪些安全红线,以及要真拦住 AI 爬虫该在哪一层动手。
Q:llms.txt 是什么?和 robots.txt、sitemap 有什么不同?
- sitemap:给搜索引擎,追求「全」,列出所有 URL 与元数据。
- robots.txt:给所有自动化工具,说明「能不能抓」,本质是君子协定。
- llms.txt:给大模型在推理时读,追求「精」,只列最重要的十几到几十个页面,每个附一句说明。
- 位置在站点根目录
/llms.txt,新版提案也允许放在子路径,例如/docs/llms.txt只描述该目录范围。 - 一句话分清:robots.txt 管能不能抓,llms.txt 管该怎么用。
Q:文件到底该怎么写?
格式是纯 Markdown,顺序固定,下面这份可以直接套用:
# 站点名称
> 一句话说明这个站点是什么、内容覆盖什么,供模型引用时使用。
可选正文:几句补充背景,不要在这里加任何标题。
## 文档
- [快速开始](https://example.com/start): 五分钟上手
- [接口参考](https://example.com/api): 完整接口说明
## 安全专题
- [DDoS 防护](https://example.com/ddos): 清洗与接入方式
## Optional
- [更新日志](https://example.com/changelog)
- 只有一个 H1,写站点或项目名,这是唯一必需的元素。
- 紧跟一段引用块摘要,一两句话,要能被直接引用,别写营销口号。
- 每个 H2 是一个分组,组内是列表,每一项必须是链接,可选在冒号后加说明。
- URL 用绝对地址,相对地址在文件被复制或离线读取时会失效。
Optional这一节有特殊语义:需要压缩上下文时可以被跳过,放次要参考。
Q:写进 llms.txt 的链接有什么安全红线?
- 只放公开可访问的页面,这个文件本身是广播,谁都能读。
- 不要列预发布环境、测试域名、内部后台,等于把资产清单送出去。
- 不要列带 token、签名或一次性参数的 URL,这些会被存档、被检索、被别人拿去复用。
- 不要列未公开的接口文档,很多泄露事件就是从一份「方便 AI 读」的目录开始的。
- 记住这句:llms.txt 是给 AI 的目录,同时也是给攻击者的目录。
Q:写了 AI 就会遵守吗?
- 不会。llms.txt 是社区提案,不是标准,也没有任何厂商承诺强制执行。
- 常被一起提到的
llms-full.txt是另一个约定,用来放页面全文,原提案里并没有定义它。 - 现实情况是:读不读、怎么读,取决于各家厂商当下的策略,而且会变。
- 所以它只有引导价值,没有防护价值。把它当防护手段,是最常见的误解。
Q:那还值得写吗?
- 值得,但目的要摆正:提高 AI 引用你的内容时的准确度,减少模型凭空编造。
- 把 AI 流量引到你希望被引用的页面上,比等模型随便抓一个旧页面强。
- 给合作方、客户、集成商一个机器可读的入口,省掉一堆人工对接。
- 不值得的期待有两个:指望它挡住采集,指望它提升搜索排名。目前它都不是排名因素。
Q:写了会不会反而被抓得更多?
- 会。这个文件本质是一张「哪里有好东西」的地图,对只想批量取内容的爬虫来说是现成的优先级清单。
- 验证方法很简单:上线前后各观察两周,对比 AI 类 UA 对正文页的抓取量,别凭感觉判断。
- 内容靠授权变现的站点,不要写全量目录,只列公开的营销页、帮助中心、产品说明。
- 折中做法是只写目录不写全文,配套的全文文件一律不上,敏感栏目在摘要里明确写不授权训练。
- 核心取舍:想被引用和不想被抓,是两个方向的目标,上线前先想清楚要哪一个。
Q:真要把 AI 爬虫挡住,该在哪一层动手?
三层递进,缺一层都会被绕过。robots.txt 声明 → UA 与来源识别 → 行为特征判定。
- 只按 UA 拦,改个 UA 就绕过去了,必须配合 ASN 段与 PTR 正反查。
- 正规厂商的爬虫通常有固定 IP 段和可反解的域名,伪造 UA 的往往反查不到。
- 行为层看频率、路径集中度、静态资源占比,这才是最难伪装的。
map $http_user_agent $ai_bot {
default 0;
~*(GPTBot|ClaudeBot|CCBot|Google-Extended|Bytespider) 1;
}
server {
location / {
if ($ai_bot) { return 403; }
proxy_pass http://backend;
}
}
if 在 Nginx 里只用于 return 和 rewrite 是安全的,别在里面写 proxy_pass。更精细的做法是用 map 生成限流 key,把 AI 爬虫单独分桶限速而不是直接拒绝。
Q:文件怎么部署才不出错?
- 放站点根目录,返回
text/plain; charset=utf-8,别让它走动态路由。 - 缓存时间别设太长,一小时足够,否则内容改了不生效。
- 动态站点在构建时生成,不要每次请求都查库拼装。
- 上线前校验三件事:结构是否符合规范、URL 是否绝对地址、链接是否都能返回 200。
location = /llms.txt {
default_type text/plain;
charset utf-8;
add_header Cache-Control "public, max-age=3600" always;
try_files /llms.txt =404;
}
Q:怎么知道 AI 爬虫有没有真的读它?
- 在日志里单独统计
/llms.txt的请求数和来源 UA,这是唯一能验证的方式。 - 如果只访问了 llms.txt 而正文页没有相应抓取,说明对方只取了目录。
- 如果正文页出现成规模的抓取,且路径和目录高度吻合,说明它按目录展开了。
- 再和 robots.txt 的命中情况对照,就能判断对方是否尊重你的声明。
# 谁在读 llms.txt
grep "GET /llms.txt" access.log | awk '{print $1}' | sort | uniq -c | sort -rn | head
# 读过目录之后有没有跟着抓正文
awk '$7 == "/llms.txt" {print $1}' access.log | sort -u > bots.txt
awk 'NR==FNR{a[$1]; next} $1 in a {print $7}' bots.txt access.log | sort | uniq -c | sort -rn | head
Q:还有什么补充建议?
- 把 llms.txt 纳入发布流程,内容大改时同步更新,别放上去就不管了。
- 别把它当合规动作,监管和合同都不认这个文件,内容授权要走商务条款。
- 真正拦得住的是三件套:robots 声明、UA 与 ASN 识别、行为层限速,文件只是其中一环。
- 定期复核 AI 爬虫 UA 名单,新厂商层出不穷,名单半年不更新基本就废了。
- 监控上把 AI 爬虫的抓取量与带宽单独拉一条曲线,涨得异常时先限速再谈拒绝。