AI 可抓取性检测
分别检查 AI 爬虫的 robots.txt 访问规则与网页响应，定位内容访问障碍。
游客可在可用额度内直接体验；登录后可保存后续任务并回看记录。
AI 可抓取性检测能做什么？
排查访问问题时，需要分别确认网站声明的爬虫规则和当前网页的响应。本工具把两项检查放在一起，并让它们独立返回结果。
适合谁使用
适合网站运维、SEO 与 GEO 从业者排查内容访问问题。
主要功能
按路径检查规则
输入具体网页时，检查对应路径命中的 robots.txt 规则；输入域名时检查首页路径。
区分两种检查结果
网页返回 403 或请求未完成时，仍可查看已获得的 robots.txt 规则结果。
查看规则证据
逐个列出 AI 爬虫的名称、规则允许或禁止状态，以及匹配的规则。
怎么使用
- 输入域名或具体网页地址。
- 分别查看网页响应和爬虫访问规则。
- 结合命中的规则与网站实际访问设置处理问题，再次检查。
怎么看结果
各爬虫对当前路径的规则与本次网页响应分别展示。
常见问题
规则允许就代表已经抓取了吗？
不代表。规则声明、实际请求和真实爬虫访问记录分别对应不同证据。
网页无法打开还能查吗？
可以分别尝试。网页请求失败不会自动中断 robots.txt 检查；robots.txt 自身无法访问时会标明状态。
简体中文 ▾
英语