抓取与访问
robots.txt 检查
按爬虫解析允许与禁止规则，并标出配置冲突。
01
这个工具检查什么？
我们抓取 /robots.txt,按标准最长匹配规则解析每个 User-agent 组，展示哪些组封锁了根路径、声明了哪些 Sitemap,以及哪些行任何解析器都读不懂。
02
结果该怎么看？
没有 robots.txt 等于"全部允许"——这是合法状态，不是错误。robots.txt 只管抓取许可，不保证被索引或被引用。
03
下一步该做什么？
如果你想放行 AI 爬虫，确认没有任何 User-agent 组意外用 Disallow: / 命中它们。
InsightWonder
访问规则会在你不知情时改变
robots.txt 的改动和 CDN 的 bot 规则通常没人通知你。InsightWonder 会定期复检，某个爬虫开始被拦时告警。
开始深度分析- 定期复检 + 变化告警
- 跨 5 个 AI 引擎的可见度与引用分析
- 按影响排序的修复建议，并生成内容