AI 抓取要放行还是屏蔽?先分清你要挡的是哪一类请求

By Editorial Team

很多人改 robots 的动机是一句话:“把 AI 挡在外面。”但 robots 里并没有一个叫“AI”的统一开关,写下一行 Disallow 究竟挡住了谁,取决于你写的是哪个抓取器名称、对应的是哪一类请求。robots里“挡AI”挡住的只是你点名的那个抓取器名称能识别的那一类请求,没有点名的其他抓取器不受影响,也不会因为你写了 AI 字样就自动挡住全部 AI 相关抓取。

先把三类请求分开。第一类是训练数据抓取,为模型训练收集网页;第二类是 AI 搜索引用抓取,为生成回答时引用页面;第三类是普通网页搜索抓取,为网页索引服务。三类请求的抓取器名称、用途和影响面不同:挡住训练抓取不等于挡住搜索引用,挡住搜索引用也不等于退出网页索引。训练抓取、搜索引用与普通网页抓取的区别在于用途与下游产物不同,决定时要按“这份内容允许被用来训练、允许被引用回答、允许被网页索引”三件事分别回答,而不是只回答一次放行或屏蔽。

只想挡训练、不想影响搜索展示怎么写

如果你只想挡训练、但希望页面继续出现在搜索与 AI 回答引用里,做法是只对训练用途的抓取器写 Disallow,同时保留搜索与引用类抓取的 Allow,不要写全站通配屏蔽。全站写 Disallow: / 会把搜索抓取一起挡住,页面連正常收录都会受影响,这是最常见的误伤。是否需要区分训练与引用,以你站点的robots实际支持的抓取器名称为准,不要把某一家厂商的抓取器名称套到所有 AI 产品上;不确定的抓取器先查官方文档再写。

动笔前还要注意适用条件:本方法只解决“抓取器遵守 robots”的情况。恶意抓取本来就不读 robots,靠加规则挡不住,需要到防火墙与访问控制层面处理;已经公开并被第三方缓存的内容,改 robots 也不会让已拿走的副本消失。把“允许训练、允许引用、允许索引”三项做成一行记录,写清每个抓取器名称给的是 Allow 还是 Disallow,后续排查才有依据。更完整的请求分类与写法对照,可以看robots 按 AI 抓取类型放行或屏蔽的说明,按它的分类把你站点的抓取器逐个归位。

改完后怎么确认真的生效

改完 robots 后要做四步核对,才能说生效。第一,公开访问 robots.txt,确认线上读到的是你刚改的版本,而不是 CDN 或缓存里的旧版本。第二,用站长工具的 robots 测试或抓取模拟,输入被限制的抓取器名称,确认目标路径显示被禁止,而搜索抓取仍显示允许。第三,观察服务器日志里对应抓取器的后续请求是否减少,注意日志只能证明请求变化,不能证明模型是否删除了历史数据。第四,等待一次抓取周期再下结论,刚改完几分钟就说“没生效”通常只是对方还没来取新规则。

如果核对发现搜索流量跟着掉,先回滚最近一次全站级 Disallow,再按抓取器逐个收紧。记住本篇的适用边界:robots 只能约束遵守规则的抓取器,防不住恶意抓取,也管不了已经公开的历史副本;需要同时处理这两类问题时,另做访问控制与法务评估,不要指望再加一行 robots 解决。