🤖 AI 可抓取性检测
检查您的网站是否允许主流 AI 爬虫抓取内容。如果被封锁,您的内容将无法被 AI 平台索引和引用。
📖 这个工具可以做什么?
如果 AI 爬虫连你的页面都看不到,后面所有的内容优化都是空中楼阁。这个工具检测 robots.txt 对 10 个主流 AI 爬虫的准入规则。一个被误封的配置,可能让你的全部 GEO 努力归零。
详见《让AI替你说话:GEO权威指南》第四章 4.6 节
❓ 常见问题:对 GEO 的影响
封了 AI 爬虫会怎样?
你的内容无法进入 AI 检索索引库,从源头被排除。详见《让AI替你说话:GEO权威指南》第四章 4.6 节。
允许抓取就一定会被引用吗?
不会。可抓取性只是地基,内容还需要高信息密度、语义自洽等特征。
可以只允许检索不允许训练吗?
可以。以 OpenAI 为例,GPTBot 用于训练,OAI-SearchBot 用于检索,分别配置即可。详见《让AI替你说话:GEO权威指南》第四章 4.6 节。
