robots.txt 指的是给爬虫看的抓取许可文件,不是排名开关,也不是防火墙。它只做一件事:说明哪一路爬虫能不能来抓。要不要放行 GPTBot 或 ClaudeBot,先分清背后的三种用途:训练、搜索索引、用户当场代取。三者分属不同 UA,屏蔽一个不等于关掉全部;还有一路,日志里查不到。
先给结论:按三种用途分,不按放与不放分
三种用途对应三套规则,写错一套会牵连另外两套。
三种用途对照表:先看哪一列?
三种用途指的是训练、搜索索引、用户代取。三条路的 UA 不同,能挡的后果也不同,混着写就会挡错一层。
| 用途 | OpenAI 这一路 | Anthropic 这一路 | Google 这一路 | 管的是哪件事 | 屏蔽后会怎样 | 日志里能按 UA 查到吗 |
|---|---|---|---|---|---|---|
| 训练 | GPTBot | ClaudeBot | Google-Extended | 内容进不进模型训练 | 收录与排名不变,训练样本少一路 | Google-Extended 查不到 |
| 搜索索引 | OAI-SearchBot | Claude-SearchBot | Googlebot | 进不进对方搜索结果 | 不进答案,仍可能作导航链接 | 能查到 |
| 用户代取 | ChatGPT-User | Claude-User | 无对应令牌 | 用户当场让模型打开页面 | 多数挡不住,规则可能不适用 | 能查到,但请求零散 |
全表的信息点在最后一列:Google-Extended 在日志里查不到,另外七个名字都能查到。
为什么不能合成一个开关?
原因分为两层:规则层与抓取层。规则层上,按照官方指南原文,每一项设置都与另外两项相互独立,可以只放搜索、只挡训练,出处见 OpenAI 的爬虫文档。
抓取层更实际。官方写明,两类都放行时,可能用同一次抓取的结果同时服务搜索与训练,为的是避免重复抓取。省的是抓取次数,丢的是可分辨性:两类都放行之后,日志里再分不出哪一次为训练、哪一次为搜索。
要保留可分辨性,只有一条路:放搜索型,挡训练型。代价是多一路抓取,换来的是每一路都能被单独观察、单独回滚。
训练型:GPTBot、ClaudeBot、Google-Extended
训练型决定内容能不能进模型,不决定页面能不能被搜到。
三条记录各自声明了什么?
训练型指的是告诉对方「我的内容不要进模型训练」这一路。OpenAI 的 GPTBot、Anthropic 的 ClaudeBot、Google 的 Google-Extended 是三条并列记录,管的是模型侧的取材。
按照 Anthropic 隐私中心关于爬虫的说明,具名规则优先:robots.txt 里点名写了 ClaudeBot,就按点名那条走,即使通配规则说的是另一回事。很多站只写一条通配就以为挡住了训练型,实际没有。
例如一家只做英文站的公司把通配写成全站禁抓,结果连 Googlebot 一起挡掉,收录先掉。训练型要单独点名,不要用通配一锅端。
Google-Extended 没有自己的 UA,这意味着什么?
Google-Extended 指的是 robots.txt 里的一个控制令牌,不是一个独立的请求身份。按照官方指南(原文见 Google 常见爬虫说明),Google-Extended 没有单独的 HTTP 请求 User-Agent 字符串,抓取复用现有的 Google UA,令牌只在控制层面起作用。
后果很直接:在服务器日志里按 UA 过滤,永远筛不出 Google-Extended 这一行。筛得到的是 Googlebot 的请求,而同一个 UA 既可能为搜索来抓,也可能带着 Gemini 的用途来抓。
除 Google-Extended 之外,另外七个名字都能在日志里按 UA 认出来,唯独这一个不行。想用日志证明「我已经挡住了 Google-Extended」,这件事本身做不到,只能走间接判断。这也是本篇与「查日志看效果」那类说法的分界。
搜索型:OAI-SearchBot、Claude-SearchBot、Googlebot
搜索型决定页面能不能进对方的答案,是三种里最该优先放行的一路。
屏蔽搜索型会失去什么?
搜索型指的是让对方把页面收进检索结果,供答案引用与链接。OAI-SearchBot 被挡之后,官方原文写得很清楚:页面不会出现在 ChatGPT 的搜索答案里。
Claude-SearchBot 与 ClaudeBot 的分工不同,前者服务搜索结果质量,后者服务训练。名字只差一个词,作用差一整层,照抄别人的 robots.txt 时最容易在这里抄错。
Google 这一路的入口不在 UA 上。按照官方指南原文,要成为 AI 概览里的支持链接,页面必须已被索引、且具备在搜索结果里显示摘要的资格,没有额外要求。
屏蔽之后,你还能怎么被看到?
屏蔽之后仍可能被看到,原因分为两条:导航链接与索引资格。官方对 OAI-SearchBot 的说明是,不进搜索答案,但仍可能作为导航链接出现;用户搜品牌名,链接照样在。
Google 这边同理。按照官方指南原文,被 robots.txt 挡掉的 URL,如果别处有外链指向,仍可能被索引,只是搜索结果里没有摘要,原文见 Google 的 robots.txt 介绍。抓取许可与索引资格是两套判定,判据见分类页收录与 noindex 判据。
要让页面彻底不进结果,用的是 noindex 或者权限。内容写成什么样更容易被引用是另一件事,块结构怎么切见可引用块的写法。
用户代取型:ChatGPT-User 与 Claude-User
第三类不是爬虫在扫站,是有人当场让模型打开一个页面。
它们为什么常常不看 robots.txt?
用户代取指的是用户提问时,模型当场去取一个具体页面。按照 OpenAI 官方指南原文,ChatGPT-User 不用于自动遍历网络,这些动作由用户发起,robots.txt 的规则可能不适用。
Anthropic 把这一路叫 Claude-User,与 ClaudeBot、Claude-SearchBot 并列。三家机器人各管一件事,只挡 ClaudeBot,挡不住用户当场取页。
例如客户把你的报价页贴进对话,让模型总结参数,这一次访问就是用户代取。请求零散、路径集中,日志里看得见,但量级和自动抓取不是一回事。
要挡这类访问,该动的是哪一层?
用户代取的拦截点指的是访问控制层,不是 robots.txt。登录、权限、按路径写的 WAF 规则,才是真正拦得住的一层;robots.txt 在这里只是一句请求。
别把封 IP 当通用退场手段。Anthropic 官方写明,封 IP 段这类做法可能不生效、也不持久,因为封掉之后对方读不到你的 robots.txt,规则也就无从遵守。
限速同理。Crawl-delay 是 Anthropic 支持的非标准扩展,OpenAI 文档没有承诺支持,所以限速要放在 CDN 或 WAF 层,不要指望一行 Crawl-delay 管住所有爬虫。
放行之后怎么核验,与三句不能写的话
放行是一个动作,核验是另一个动作,两者之间隔着抓取周期。
日志里怎么分别认出这几个 UA?
日志核验指的是按 UA 加路径两个维度切请求。能按 UA 认出来的是 GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、Claude-SearchBot 六类。UA 里带版本号,例如同一个机器人后面跟的数字会变,所以前缀匹配只认斜杠前的名字。
四个最常被问的名字这样分:GPTBot 是训练,OAI-SearchBot 是搜索,ChatGPT-User 是用户当场取页,ClaudeBot 是训练。Googlebot 也在日志里,但日志里没有 Google-Extended 这一行,这一点决定了核验方式。
除 UA 之外再看三列:单个 UA 的每秒请求数、5xx 与超时、请求落在哪些路径。做法分 3 步:第 1 步按 1 天聚合,第 2 步把改动前后各 14 天的请求量并排看,第 3 步只认拐点不认峰值。这三列能回答放行有没有把站拖慢,但不能回答慢了多少,官方没有给过量化口径;请求量怎么定责,见打开慢的六层定责顺序。
查不到 Google-Extended 时,怎么判断生效了?
查不到时只能间接判断,判断分为三步。第一步看 Googlebot 的抓取行为有没有变化:Google-Extended 复用现有的 Google UA,挡掉之后 Googlebot 的请求量不该出现结构性跳变。
第二步看 Google 搜索侧是否照常。官方写明 Google-Extended 不影响页面是否被收录,也不是排名信号。收录与曝光出现变化,原因要往别处找。
第三步看 Gemini 侧的引用结果,用品牌词和机型词各查一次做对照。三步都正常,才能说规则按预期生效;任何一步异常,先回滚规则再排查。
三条回滚纪律
回滚纪律指的是改完之后怎么退、怎么确认,共三条。第一条:生效按抓取周期算,不按秒算。按照官方指南原文,robots.txt 的改动传到对方系统,搜索侧约需一天;改完当天看不到变化,不等于没生效,隔一天再复核,时间口径见 OpenAI 爬虫文档。
第二条:别用封 IP 代替规则。封段会让对方读不到 robots.txt,规则随之失效,也不持久。第三条:子域与 CDN 要单独核。规则只对写它的那个主机生效,子域要各自写一份;挂在 CDN 上的站,还要确认回源时读到的是哪一份 robots.txt。
这不是排名开关,也不是防火墙
三句不能写的话指的是三种因果承诺,一句比一句更容易被当真。第一句是「放行能提排名」。官方只说了 Google-Extended 不影响收录、不是排名信号,没有反向结论。
第二句是「屏蔽就等于从 AI 搜索消失」。被挡的站仍可能作为导航链接出现,用户代取的请求也可能不受 robots 约束。
第三句是「robots.txt 能保护机密」。按照官方指南原文(见 robots.txt 的用途说明),robots.txt 主要用于避免站点被请求压垮,它不能强制爬虫遵守,被挡的 URL 仍可能因外链被索引。要保护数据用权限,要让页面离开结果用 noindex。
