一手官方
平台官方文档或权威机构原文。
AI 爬虫（AI Crawlers / Bots）
AI 厂商的抓取程序，按用途分训练/检索索引/用户触发三类——放行哪类决定你进入 AI 的哪一环。
AI Mode（Google AI 全屏模式）
Google 搜索的完整对话式 AI 界面（2025 年起推广），比 AI Overviews 更深度地重构查询-回答流程。
AI Overviews（Google AI 摘要）
Google 搜索结果页顶部的 AI 生成摘要（2024-05 正式上线），引用来源来自 Google 索引；2026-01 起由 Gemini 3 驱动并引入查询扇出选源。
AIPREF（Content-Usage 声明）
IETF 草案：在 robots.txt 用 Content-Usage 字段机器可读地声明内容可否用于训练/AI 输出/搜索——比"全允许/全禁止"更细粒度的偏好表达。
Bytespider
字节跳动的训练爬虫（喂豆包/TikTok 等），高并发、争议最大、被屏蔽率最高的 AI 爬虫之一；名义遵守 robots.txt。
Cloaking（内容门禁欺骗）
对爬虫与真实用户展示不同内容的作弊手法——Google 垃圾政策已明确覆盖"操纵生成式 AI 回答"；对 AI 爬虫定向喂词属换名 cloaking。
训练·检索·用户触发爬虫（三型）
AI 爬虫按用途的三分法：训练型喂模型、检索型建 AI 搜索索引、用户触发型在用户提问时实时抓取——三类的 robots 行为与 GEO 含义完全不同。
Google-Extended
Google 的训练控制 token：只管 Gemini 训练与 grounding 数据，屏蔽它不影响 Google 搜索收录与 AI Overviews 出现。
IndexNow
微软 Bing/Yandex/Seznam 共推的即时索引协议：URL 变更主动推送，几分钟内告知搜索引擎——进 Bing 索引（进而影响 ChatGPT/Copilot 引用）的低成本通道。
OAI-SearchBot
OpenAI 的搜索索引爬虫——ChatGPT 搜索引用池的守门人；屏蔽它=放弃 ChatGPT 搜索可见度。
PerplexityBot
Perplexity 的自建索引爬虫——Perplexity 引用池的唯一官方入口，遵守 robots.txt；另有用户触发型 Perplexity-User 通常无视 robots。
robots.txt（AI 语境）
站长控制 AI 爬虫抓取的通行协议——AI 时代从"管搜索引擎"扩展为"分用途管 AI"；遵守与否取决于各家政策。
规模化内容滥用（Scale Content Abuse）
批量生成无附加值的页面操纵搜索/AI 可见度——Google 2024 垃圾政策更新名目；AI 时代最重要的内容红线之一。
SGE（Search Generative Experience）
SGE 是 Google 2023 年上线的生成式搜索实验名，2024 年由正式产品 AI Overviews 接替——今天再写 SGE 已是历史名词，与 AIO 混用会污染口径。
Apple 官方爬虫支持文档：Applebot/iTMS/付费墙标记口径
Apple 官方文档口径：Applebot 遵守 robots.txt、跟随 Googlebot 规则、会渲染页面；Applebot-Extended 只管 AI 训练用途；iTMS UA 不遵守 robots.txt。
百度 AI 搜索技术架构论文：DAG 任务规划与多智能体
百度官方论文口径的 AI 搜索架构：多智能体协作+基于 DAG 的动态任务规划、动态能力边界调整、轻量化检索生成——查询被拆成任务图逐节点执行。
Cloudflare「内容独立日」公告：默认阻断 AI 爬虫
Cloudflare 2025-07-01 公告：所有新域名默认阻断 AI 爬虫（可退出）；官方推算从 OpenAI 换等量流量比十年前的 Google 难约 750 倍、从 Anthropic 难约 30000 倍。
Cloudflare Pay Per Crawl 发布：HTTP 402 付费抓取协议
Cloudflare 2025-07 发布 Pay Per Crawl（至今 private beta）：爬虫无付费意图收到 HTTP 402+crawler-price 头，付费后 200+crawler-charged；参与爬虫必须通过 Web Bot Auth 密码学认证。
CNNIC 第 56 次中国互联网络发展状况统计报告
官方口径：网民 11.23 亿、普及率 79.7%；生成式 AI 用户中 80.9% 用它"回答问题"（第一大用途）；当时 346 款生成式 AI 服务完成备案。
CNNIC 第 57 次中国互联网络发展状况统计报告
官方最新口径（2026-02-05 发布，截至 2025-12）：生成式 AI 用户 6.02 亿、普及率 42.8%，较 2024 年底增长 141.7%；网民规模 11.25 亿。
CNNIC《生成式人工智能应用发展报告 2025》
官方口径：截至 2025-06 生成式 AI 用户 5.15 亿、普及率 36.5%；备案服务增至 538 款（截至 2025-08）。
Google 官方文档：AI 特性与搜索（AI Overviews/AI Mode）
Google 搜索中心现行官方口径：进入 AI Overviews/AI Mode 无需特殊优化、无需新建机器可读文件、没有专门的 schema.org 标记；控制手段就是 robots.txt 的 Googlebot 指令。
Google 官方公告：爬虫 IP 段 JSON 迁移
Google 2026-03-31 官方公告：爬虫 IP 段 JSON 从 /search/apis/ipranges/ 迁至 developers.google.com/crawling/ipranges/，旧路径约 6 个月 301——自动化验证管线需迁移。
Google 官方博客：robots 的未来（REP 是公共标准）
Google 搜索中心官方博客（Gary Illyes，2025-03）：robots 排除协议（REP）是公共标准，任何单一方都无法单方面改动；新的 opt-out 偏好规则“极易扩展”。
MiniMax 港股招股书：用户规模与收入结构官方口径
MiniMax 港股招股书（截至 2025-09-30）：全球 2.12 亿个人用户、集团 MAU 2760 万、C 端收入占比 71%+、海螺 AI ARPPU 56 美元——中国 AI 出海样本的官方文件口径。
Brand Radar 定价：Custom Prompts 50 美元/月起、AI Visibility Index 199 美元/月
SEO 套件内嵌路线最清楚的公开定价：Ahrefs Brand Radar 的定制提问加购 50 美元/月起，独立产品位 AI Visibility Index 199 美元/月——加购与独立订阅分层的定价样本。
百度爱采购商品数据 3-5 个工作日完成收录生效
爱采购官方卖家 FAQ 口径：经认证服务商提交的商品数据，符合商品质量规范约 3-5 个工作日生效——B2B 供给侧少见的明确收录时效。
IETF aipref 双草案：attach-05 与 vocab-08（2026-08/09 更新）
IETF aipref 双草案状态：attach-05（2026-08-18、作者含 Google/Mozilla、更新 RFC 9309）与 vocab-08（2026-09-13、多处仍缺 WG 共识）——标准未成，尚无厂商承诺。
Apple 播客官方转写首发不含中文
Apple Podcasts 官方转写随 iOS 17.4 上线（2024-03-05），首发仅英法德西四种语言、不含中文——中文播客进 AI 语料靠自发文字稿，缺口即 GEO 窗口。
Applebot 的继承规则：robots.txt 没写 Applebot 时，跟随 Googlebot 条目
Apple 官方文档：robots.txt 没有 Applebot 条目但有 Googlebot 条目时，Applebot 跟随 Googlebot 指令；且 Applebot 不遵守 Crawl-delay、会渲染页面——屏蔽 JS/CSS 会导致渲染失败。
中国生成式 AI 用户 5.15 亿，80.9% 网民用它回答问题
CNNIC 官方口径合并：生成式 AI 用户 5.15 亿（普及率 36.5%），生成式 AI 用户中 80.9% 用它"回答问题"——中文 GEO 需求底盘。
ClaudeBot 是少数官方支持 Crawl-delay 的大厂 AI 爬虫
Anthropic 官方文档：ClaudeBot 遵守 robots.txt 且支持 Crawl-delay——在 Google 明确不支持 crawl-delay 的背景下，这是大厂 AI 爬虫里的少数派。
从 OpenAI 换等量流量比十年前的 Google 难约 750 倍
Cloudflare 官方口径（2025-07）：从 OpenAI 获得与当年 Google 等量的流量难约 750 倍，从 Anthropic 难约 3 万倍——"爬取慷慨、引荐吝啬"的量化。
证监会：无牌有偿荐股非法，AI 生成荐股同样适用
证监会官方（2025-06-03）：未取得证券投资咨询业务许可、有偿提供个股分析/预测/建议均属非法荐股——AI 生成荐股同样适用，金融 GEO 话术硬边界。
FAQ 富结果 2026-05-07 起不再出现在 Google
Google 官方公告：自 2026-05-07 起 FAQ rich result 不再出现在 Google 搜索，文档 2026-06-15 移除——FAQPage 标记对 Google 只剩第三方价值。
Google 官方 IP 段 JSON 按三类爬虫分套发布，另有 agents 附加清单
Google 的官方 IP 段 JSON 分套发布：common-crawlers.json、special-crawlers.json、user-triggered-fetchers(-google).json
Google 三类爬虫反解掩码全表：googlebot.com / google.com / googleusercontent.com 各归各类
Google 官方验证文档的三类反解主机名掩码：主体爬虫走 crawl-*/geo-crawl-*.googlebot.com，特殊爬虫走 rate-limited-proxy-*.google.com
美团开源 LongCat-Flash-Chat：560B MoE
美团 2025-09-01 开源 LongCat-Flash-Chat：MoE 总参数 560B、每 token 激活 18.6-31.3B——美团从"被引用方"变"AI 供给方"的标志节点。
MiniMax 全球个人用户 2.12 亿（招股书口径）
MiniMax 港股招股书（截至 2025-09-30）：全球 2.12 亿个人用户、13 万企业客户、集团 MAU 2760 万——招股书级口径，含海螺 AI 与 Talkie。
OpenAI 爬虫官方文档迁址 developers.openai.com，旧域名 301 过渡
OpenAI 爬虫文档（GPTBot/OAI-SearchBot/ChatGPT-User/OAI-AdsBot 四爬虫口径）现托管于 developers.openai.com/api/docs/bots，自 platform.openai.com 迁移，旧地址 301 重定向——引用旧域名的教程与脚本正在批量过期。
Otterly 价格带：每月 29 美元到 489 美元
全品类最清晰的公开价格带之一：Otterly Lite 档每月 29 美元含 15 条监测 prompt，顶档每月 489 美元扩到 400 条——按提问数计价的入场券定价，轻量档预算的第一把标尺。
Sonar API 官方价：每百万 token 输入输出各 1 美元，另按每千次请求加收 5-12 美元
Perplexity Sonar 系列官方牌价：基础 Sonar 模型每百万 token 输入输出各 1 美元，按请求计费每千次 5-12 美元随档位浮动——自建 AI 可见度监测最常用的成本基准价。
Perplexity 官方 WAF 范式：UA 匹配 + IP JSON 双重校验 + 定时自动刷新
Perplexity 官方 bots 指南建议 WAF 同时做 UA 字符串匹配与 IP 校验（名单取官方 JSON），并设自动化定期刷新 IP 段——同页明写 Perplexity-User「generally ignores robots.txt rules」。
千问 App 公测首周下载破 1000 万
阿里官方（2025-11-25）：千问 App 公测（2025-11-17 起）首周下载量突破 1000 万——下载口径非活跃口径，厂商自报。
robots.txt 缓存最长 24 小时，规则变更按"次日"生效
Google 官方口径：robots.txt 内容一般缓存至多 24 小时，可被 Cache-Control 的 max-age 调整，且缓存可能被多个 Google 爬虫共享——放行或屏蔽 AI 爬虫都不是即时开关。
robots.txt 返回 4xx（429 除外）等于零限制，401/403 不能用于限速
Google 官方规范：robots.txt 抓取返回 4xx 时除 429 外一律按"无 robots.txt"处理，且不影响抓取速率——想用 401/403 给爬虫降速在协议层就无效。
robots.txt 超过 500 KiB 的部分被 Google 直接忽略
Google 官方规范为 robots.txt 设定 500 KiB 文件上限，超出部分直接忽略；文件必须 UTF-8 编码，非 UTF-8 字符可能导致所在行失效——堆砌式 Disallow 有硬顶。
robots.txt 返回 5xx：Google 按 12 小时停抓、30 天旧版、视同零限制三阶段处理
Google 官方规范的 5xx 三阶段语义：先停抓 12 小时，再用最后一次正常版本撑 30 天，仍未修复则视同没有 robots.txt（或停抓）——robots.txt 部署事故会被放大。
Google 不支持 crawl-delay：robots.txt 只认 4 个字段，降速走官方两条路
Google 官方规范：robots.txt 仅支持 user-agent/allow/disallow/sitemap 四个字段，"crawl-delay 等其他字段不受支持"；官方降速替代路径是临时返回 500/503/429 或经 Search Console 提交请求。
知乎直答 2025-09 升级 Agentic：回答可溯源到具体答主
2025-09-25 知乎直答升级为 Agentic 助手，支持多轮搜索研究，回答可溯源到具体答主并展示其专业背景——AI 引用直接给答主导流。
Apple Intelligence 与 Siri
端侧加私有云计算优先、外部知识靠 Applebot 抓取的助手线：robots 语义贴着 Googlebot 走，转写层首发不含中文——中文内容进 Apple 供给链要走自发文字稿。
Brave Leo
Brave 浏览器内置 AI 助手，答案接入 Brave Search 实时结果——少数自带独立索引的 AI 入口；Bravebot 的 robots 口径特殊：管抓不管除名，除名靠 noindex。
ChatGPT Search
OpenAI 的搜索功能：OAI-SearchBot 自建索引+Bing 信号（实测约 87% 引用与 Bing 首页重合）——做好 Bing 收录约等于拿到入场券。
Claude 搜索
Anthropic 的网页搜索：ClaudeBot/Claude-User/Claude-SearchBot 三 UA 职责分离、遵守 robots、官方提供 bots.json 核验清单，是六引擎中治理最规范的一家；搜索供给指向 Brave，中文覆盖弱源于索引而非模型。
Microsoft Copilot
微软全家桶里 grounded 在 Bing 索引上的 AI 助手：检索供给与 Bing 搜索同源，引用窗口是头部引擎里最窄的一档——做好 Bing 就是拿到 Copilot 的入场券。
DuckDuckGo Duck.ai
隐私取向的 AI 问答：第三方模型经 DuckDuckGo 匿名化代理，不训练不留存；检索供给来自自有搜索结果——内容本体是唯一可优化变量，比个性化引擎更「所见即所得」。
Google AI Overviews
Google 搜索的 AI 摘要：内容供给就是 Googlebot 常规索引（无独立爬虫）；2026-01 换 Gemini 3 后引用经查询扇出大幅外溢，YouTube 成最大被引域名。
Mistral Le Chat
Mistral 的欧洲旗舰助手：模型自有、检索外采——网页搜索由 Brave Search 供给、新闻由 AFP 授权直供，GEO 动作几乎全部落在 Brave 索引与授权新闻两个上游。
Meta AI
嵌在 Facebook/Instagram/WhatsApp/Messenger 对话流里的 Llama 助手：网页检索从外采转向 Meta-WebIndexer 自建索引，社媒资料与网页口径要双线经营。
Perplexity
纯自建索引的 AI 搜索（PerplexityBot）：与其他引擎引用重合度最低，引用窗口最宽（平均约 21.9 源）——对中小来源相对友好。
You.com
从消费级 AI 搜索转型开发者 API 的样本：Web Search API 输出 LLM-ready 的结构化网页与新闻结果——可见度发生在下游，无数 AI 应用的检索供给层。
知乎直答
知乎社区语料直供的问答引擎：站内问答是第一现场，2025-09 升级 Agentic 后回答可溯源到具体答主——引用带署名与专业背景，创作者可信度直接变成可见度资产。