第9课丨可抓取性:让 AI 爬虫顺利读到你

内容写得再好,AI 爬虫读不到,一切归零。这一课是技术地基的第一步:可抓取性。

AI 爬虫和浏览器不一样——它没耐心、不执行复杂脚本。最常见的致命坑是 JavaScript 渲染:你的内容靠 JS 加载才显示,用户看着正常,爬虫抓到的却可能是一片空白。此外还有几个关键项:TTFB 首字节时间(响应太慢,爬虫直接放弃)、HTML 信噪比与语义标签(让爬虫快速定位正文)、robots.txt 的正确配置(训练爬虫和检索爬虫要区别对待,很多人一刀切全禁,把引用机会也禁掉了)。

课程最后给出一份 30 分钟可抓取性自检清单,照着过一遍,你就知道自己的网站对 AI 是”可见”还是”隐形”。