Applebot 的继承规则:robots.txt 没写 Applebot 时,跟随 Googlebot 条目
无 Applebot 条目 → 跟随 Googlebot
Apple 官方文档:robots.txt 没有 Applebot 条目但有 Googlebot 条目时,Applebot 跟随 Googlebot 指令;且 Applebot 不遵守 Crawl-delay、会渲染页面——屏蔽 JS/CSS 会导致渲染失败。
Apple 官方 Applebot 文档的继承规则:robots.txt 没有 Applebot 条目、但有 Googlebot 条目时,Applebot 跟随 Googlebot 指令执行。同页还有两条配套口径:Applebot 不遵守 Crawl-delay;它会以浏览器渲染页面——若 robots.txt 屏蔽了 JavaScript、CSS 等资源,可能导致渲染无法正常完成。三条合起来,Applebot 的 robots 语义比多数 AI 爬虫更“贴着 Googlebot 走”。
对站长的含义
“只写 Googlebot、不写 Applebot”的站点,实际上已经同时给两家定了规则:屏蔽 Googlebot 会连带屏蔽 Siri/Spotlight 侧的可见性,放行亦然。想让 Apple 系走独立策略,必须显式写 User-agent: Applebot 组;同时渲染资源不可挡,否则 Applebot 渲染失败,页面在 AI 生成的答案里只剩空壳。
- 样本与口径
- Apple「About Applebot」官方文档(support.apple.com,2026-10 现行)
- 出处文献卡
- 无对应文献卡(数字出自下方直接引用来源)
- 如何引用
- 据 Apple 官方 Applebot 文档(2026-10 现行口径)
引用来源
- Apple:About Applebot(support.apple.com/en-us/119829)
最后更新 2026-10-01数字有时效性——引用前请按出处名称检索核对最新口径