AI 爬虫该屏蔽还是欢迎？robots.txt 与 llms.txt 2026 年配置指南：训练类与搜索类的取舍

摘要

2026 年，AI 爬虫已成为网站流量结构中不可忽视的变量。Cloudflare 对全网 AI 爬虫流量的拆解显示：76.2% 用于模型训练，18.5% 用于 AI 搜索索引，4.1% 为用户主动代访。这意味着"AI 爬虫该屏蔽还是欢迎"是一个错误的问题——正确的做法是按爬虫类别分别决策：屏蔽纯训练类爬虫、放行搜索引用类爬虫、对不遵守协议的爬虫在 CDN/WAF 层强制执行。本文给出主流 AI 爬虫的完整分类、robots.txt 配置方法、llms.txt 的真实作用边界，以及三类内容站型的推荐策略。

一、主流 AI 爬虫分类：三类爬虫，三种语义

三个关键细节：

1. ChatGPT-User 与 Claude-User 不遵循 robots.txt。用户在对话中要求打开某网页时，AI 以浏览器语义代为访问，属于单次用户行为而非批量抓取，无需也难以拦截。
2. 屏蔽 Google-Extended ≠ 退出 AI Overviews。Google-Extended 仅控制 Gemini 训练用途；AI Overviews 基于常规搜索索引，屏蔽它既不影响搜索排名，也不影响 AI Overviews 展示。误认为屏蔽即可退出 AI 产品的站点，实际损失的是 Gemini 训练授权谈判空间以外的所有东西。
3. GPTBot 的角色在 2026 年已变化。2024 年主流建议是屏蔽 GPTBot 以阻止训练；但如今 GPTBot 同时承担 ChatGPT 搜索的内容抓取。沿用旧攻略屏蔽 GPTBot，等于退出 ChatGPT 搜索入口。

二、robots.txt：有效的工具，明确的边界

2.1 基本写法

robots.txt 按 User-Agent 点名生效，主流 AI 爬虫（GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot 等）均公开声明遵守 Disallow 规则：

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: / 

2.2 三个高频错误

2.3 边界：契约而非防火墙

robots.txt 是自愿性协议，约束力来自声誉机制而非技术强制。三个必须认知的边界：

• 不合规爬虫直接无视该文件，没有任何技术强制力；强制执行需在 CDN/WAF 层按 User-Agent、IP 段与行为特征拦截。Cloudflare 已于 2025 年起对新建域名默认拦截 AI 训练爬虫，并提供 pay-per-crawl 按次付费抓取模式。
• 只能阻止未来抓取。内容已被抓取并进入训练集后，添加 Disallow 无法从模型中移除，目前无任何工具可撤回。
• UA 可被伪造。行业正推进 Web Bot Auth（基于 HTTP 消息签名的爬虫身份验证）以区分真实爬虫与假冒 UA 的抓取者；noai 等 meta 标签的遵守情况不一致，不能作为替代方案。

三、llms.txt：内容目录，不是门禁

llms.txt 是社区提案（非官方标准），建议在站点根路径放置 Markdown 格式的精选内容清单，供 AI 快速理解站点结构与重点内容。

必须澄清的定位：llms.txt 不具备任何准入控制语义，不能替代 robots.txt 屏蔽任何爬虫。它是"推荐层"——在允许访问的前提下，告诉 AI 哪些页面值得优先阅读。

现状（2026）：OpenAI、Anthropic、Google 均未官方承诺读取 llms.txt；SE Ranking 的分析认为其对 AI 引用量无可测量效果。但同时：Perplexity 等回答型产品已被观察到在引用决策中抓取该文件；部署成本约一个下午，无负面后果；开发者文档类站点已普遍采用。

写作原则：

1. 只收录最高价值页面（建议 20 条以内），不搬运 sitemap；
2. 每条链接配一句明确描述（说明页面内容与受众），裸链接清单没有意义；
3. 内容库较大的站点可另备自动生成的 llms-full.txt；
4. Content-Type 使用 text/plain; charset=utf-8。

示例：

# 公司名
> 一句话描述主营业务

## 产品
- [云服务器](https://example.com/cloud): 弹性云服务器产品与配置说明
- [帮助文档](https://example.com/docs): 常见问题与操作指南 

四、按内容类型的三种推荐策略

推荐通用配置（保留 18.5% 搜索引用、退出 76.2% 训练抓取）：

# 放行搜索引用类
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GoogleOther
Allow: /

# 屏蔽纯训练类
User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://你的域名/sitemap.xml 

五、常见问题（FAQ）

Q1：屏蔽 GPTBot 后，ChatGPT 还能打开我的网页吗？ 能。用户对话中的代访走 ChatGPT-User，不遵循 robots.txt。屏蔽 GPTBot 影响的是 ChatGPT 搜索索引与训练抓取，不是单次代访。

Q2：屏蔽 Google-Extended 会让网站退出 AI Overviews 吗？ 不会。AI Overviews 基于常规搜索索引，Google-Extended 仅控制 Gemini 训练用途。屏蔽它不影响搜索排名与 AI Overviews。

Q3：robots.txt 加了 Disallow，训练集里已有的内容会消失吗？ 不会。robots.txt 只阻止未来抓取，无法撤回已进入训练集的内容。

Q4：llms.txt 能阻止 AI 爬虫抓取吗？ 不能。llms.txt 没有准入控制语义，它是给 AI 的内容目录，屏蔽必须用 robots.txt（协议内）或 CDN/WAF 规则（强制层）。

Q5：不认识的新 AI 爬虫来了怎么办？ 先确认它是否在 robots.txt 的通配符兜底范围内；对不守规矩的爬虫，在 CDN/WAF 层按 UA 与 IP 段拦截，并保持爬虫名单更新（厂商会改名或拆分爬虫）。

Q6：AI 引用流量值得为它放弃训练授权吗？ 取决于内容性质。免费曝光型内容应放行以获取引用流量；付费内容建议屏蔽训练类、保留搜索引用类。按 Cloudflare 拆解，搜索类仅占 AI 爬虫流量的 18.5%，但这是增长最快的引用入口。

六、行动清单

1. 审查现有 robots.txt 的通配符兜底规则与 2024 年前的旧屏蔽规则；
2. 按爬虫分类表补齐训练类/搜索类/GoogleOther 规则；
3. 确认 sitemap.xml 可被所有主流爬虫读取；
4. 部署精选版 llms.txt（20 条以内，每条带描述）；
5. 在 CDN/WAF 层配置不合规爬虫的识别与拦截策略；
6. 将 robots.txt 与解析、证书纳入同一运维体系，定期复核。

相关服务

• 云解析 DNS——域名解析服务，爬虫可达性的第一环
• SSL 证书——HTTPS 加密，主流 AI 爬虫与搜索引擎的抓取前提
• 云服务器——自建站点的算力底座，可配合 CDN/WAF 分层防护
• 虚拟主机——轻量站点托管方案

参考资料

1. Cloudflare Radar——AI 爬虫流量用途拆解（训练 76.2% / 搜索 18.5% / 代访 4.1%）
2. OpenAI / Anthropic / Google 官方爬虫文档——GPTBot、ClaudeBot、Google-Extended 等 UA 定义与 robots.txt 政策
3. llmstxt.org 社区提案；SE Ranking《Why Brands Rely On It and Why It Doesn’t Work》
4. Web Bot Auth（HTTP 消息签名爬虫身份验证）行业提案