这个工具检查什么？

按 AI 运营方和用途(训练、搜索、用户代抓)逐项选择允许或禁止，生成可直接粘贴的 robots.txt 片段，使用正确的真实 UA 令牌。

结果该怎么看？

禁止训练爬虫(GPTBot、ClaudeBot)不等于禁止搜索可见性爬虫(OAI-SearchBot、PerplexityBot)——它们是不同用途的不同 UA。生成器刻意把两类分开。

下一步该做什么？

把片段粘贴进 robots.txt,再用 AI 爬虫访问检查确认服务器层的真实表现。

抓取与访问

AI Bot 策略生成器

根据内容授权选择，生成明确的 robots.txt 爬虫策略。

免费 · 即时

按用途选择允许或禁止

禁止训练爬虫不等于禁止搜索可见性爬虫——它们是不同 UA。想被 AI 搜索推荐，至少保留第二组。

模型训练GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Bytespider, Meta-ExternalAgent, CCBot

AI 搜索可见性OAI-SearchBot, PerplexityBot

用户代抓 / 助手ChatGPT-User, Amazonbot

# AI 爬虫策略(由 InsightWonder Tools 生成)

# 模型训练: 允许
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: CCBot
Disallow:

# AI 搜索可见性: 允许
User-agent: OAI-SearchBot
User-agent: PerplexityBot
Disallow:

# 用户代抓 / 助手: 允许
User-agent: ChatGPT-User
User-agent: Amazonbot
Disallow:

InsightWonder

访问规则会在你不知情时改变

robots.txt 的改动和 CDN 的 bot 规则通常没人通知你。InsightWonder 会定期复检，某个爬虫开始被拦时告警。

开始深度分析

定期复检 + 变化告警
跨 5 个 AI 引擎的可见度与引用分析
按影响排序的修复建议，并生成内容