研究文献
56 张文献卡(论文 + 行业报告)。同一报告可拆出多张数据卡,见「数据与实证」。
Ahrefs:AI Overviews 引用与自然排名重合度研究
86.3 万关键词、400 万引用 URL 的实测:AIO 引用与自然前十重合度一年内从约 76% 跌至约 38%,YouTube 成最大被引域名(5.6%)。
Ahrefs:13.7 万域名的 llms.txt 采纳与请求研究
实证 llms.txt 的"被引用无效":约 28% 站点已发布,但 97% 全月零请求,AI 检索爬虫仅占其请求 1.1%。
新榜智汇:连测 91 天的豆包引用偏好研究
新榜智汇 2026 年 1-4 月对豆包连测 91 天追踪引用偏好:10,000+ 无污染代理节点排除个性化记忆干扰,长周期连续监测成为中文 GEO 复测的参照节奏。
《从 RAG 到信源矩阵》:豆包引用源实测(阿里云开发者社区)
阿里云开发者社区实测(2026-09-21):豆包 4 个 GEO 核心提问词回收 45 条引用源——CSDN 34% 居首、国内中文平台 71%、企业官网 0% 的平台集中度极值样本。
Apple 官方爬虫支持文档:Applebot/iTMS/付费墙标记口径
Apple 官方文档口径:Applebot 遵守 robots.txt、跟随 Googlebot 规则、会渲染页面;Applebot-Extended 只管 AI 训练用途;iTMS UA 不遵守 robots.txt。
百度 AI 搜索技术架构论文:DAG 任务规划与多智能体
百度官方论文口径的 AI 搜索架构:多智能体协作+基于 DAG 的动态任务规划、动态能力边界调整、轻量化检索生成——查询被拆成任务图逐节点执行。
CNNIC 第 57 次中国互联网络发展状况统计报告
官方最新口径(2026-02-05 发布,截至 2025-12):生成式 AI 用户 6.02 亿、普及率 42.8%,较 2024 年底增长 141.7%;网民规模 11.25 亿。
Conductor AEO/GEO 行业基准研究
Conductor 2026-04-14 发布的行业基准:基于 1700 万条 AI 回答(2025-05~09)与流量面板——AI 引荐流量约占网站总访问 1%+、每月增长约 1%,AIO 使触发类查询量增加约 10%。
G2:B2B 买家 AI 调研行为研究
G2 买家调研:2026-04 口径 51% 的 B2B 软件买家更多用 AI 聊天机器人而非 Google 开始调研(一年前仅 29%);2026-03 调查 73% 买家在采购研究中使用 AI 工具。
Google 官方文档:AI 特性与搜索(AI Overviews/AI Mode)
Google 搜索中心现行官方口径:进入 AI Overviews/AI Mode 无需特殊优化、无需新建机器可读文件、没有专门的 schema.org 标记;控制手段就是 robots.txt 的 Googlebot 指令。
Google 官方公告:爬虫 IP 段 JSON 迁移
Google 2026-03-31 官方公告:爬虫 IP 段 JSON 从 /search/apis/ipranges/ 迁至 developers.google.com/crawling/ipranges/,旧路径约 6 个月 301——自动化验证管线需迁移。
增长黑盒×Emergine:5000 条真实 AI 对话实测
基于真实 AI 对话的中文实证(2026-08):AI 对品牌的"认知"可在不同阶段被内容策略影响——品牌认知是可经营变量。
HBR 中文版:64.8% 采购决策者调研(转引口径)
哈佛商业评论中文版 2026 调研(经新浪财经 2026-07 转引):64.8% 的 B2B 采购决策者已将 AI 搜索答案列为供应商筛选的重要参考依据。
IPPR:ChatGPT 新闻引用研究(卫报约 58%)
英国智库 IPPR(2026-01-30):ChatGPT 新闻回答约 58% 引用《卫报》,Reuters、Independent 前三;GB News 被超比例引用——上稿结构直接决定 AI 引用结构。
火山引擎《2026 会展行业 GEP/GEO 指南》
火山引擎开发者社区 2026 年发布的会展行业指南:指出展会主办方官网内容在 AI 引用中占比偏低——厂商行业指南口径,未附公开数据页。
犀牛云 GEO 实验室《大模型训练层可信源研究报告》
犀牛云 GEO 实验室报告(2026-06 经中华网科技报道):全球 LLM 训练数据中 Wikipedia 权重约 3-5%;文心/通义/DeepSeek/Kimi 等中文模型中百度百科权重显著更高。
21 世纪经济报道《让 AI 查了 330 次新闻》
主流媒体 330 次 AI 新闻查询实测(2025):六款 AI 引用新闻的平均准确率仅 25%,约 14% 回复引用转载链接而非官方链接,豆包最严重(30 次中 8 次)。
Ahrefs:品牌提及与 AI 可见度相关性研究
7.5 万品牌、约 2500 万条 AI Overviews、10 亿数据点:全网品牌提及与 AI 可见度相关性约 0.664,外链仅 0.218;AI 引用内容平均比自然结果新约 25.7%。
AI新榜:142.9 万次问答与 1683.6 万信源研究
新榜智汇 2025-12 对豆包/元宝/DeepSeek/Kimi 完成 142.9 万次问答、回收 1683.6 万条信源 URL:背靠大厂的 AI 绑定自有生态,DeepSeek/Kimi 依赖外采、信源最分散。
AI新榜:API 口径与用户问答口径的信源差异
AI新榜 1683 万信源研究的关键方法论发现:豆包用户侧高频引用今日头条/抖音而 API 调用极少采用,元宝差异体现在公众号信源——监测必须注明口径。
百分点×增长黑盒《2025 中国 GEO 趋势与策略报告》
国内首份系统性 GEO 报告:5.1 万被参考信源中能被 4 个以上 AI 平台共同参考的占比极低——各平台信源偏好分裂,必须多平台布局。
BrightEdge《The Open Frontier of Mobile AI Search》:双端剪刀差
BrightEdge 实测:超 90% 的 AI 搜索推荐流量来自桌面端,而整体网页流量以移动为主;桌面与移动 AIO 的引用来源与内容本身不同——双端答案不是镜像。
Cloudflare「内容独立日」公告:默认阻断 AI 爬虫
Cloudflare 2025-07-01 公告:所有新域名默认阻断 AI 爬虫(可退出);官方推算从 OpenAI 换等量流量比十年前的 Google 难约 750 倍、从 Anthropic 难约 30000 倍。
Cloudflare:AI 爬虫流量年度研究
固定客户群一年实测:GPTBot 请求 +305%、Bytespider -85%、ChatGPT-User +2825%、PerplexityBot +157490%;Anthropic 爬取回流比约 38000:1。
Cloudflare Pay Per Crawl 发布:HTTP 402 付费抓取协议
Cloudflare 2025-07 发布 Pay Per Crawl(至今 private beta):爬虫无付费意图收到 HTTP 402+crawler-price 头,付费后 200+crawler-charged;参与爬虫必须通过 Web Bot Auth 密码学认证。
CNNIC 第 56 次中国互联网络发展状况统计报告
官方口径:网民 11.23 亿、普及率 79.7%;生成式 AI 用户中 80.9% 用它"回答问题"(第一大用途);当时 346 款生成式 AI 服务完成备案。
CNNIC《生成式人工智能应用发展报告 2025》
官方口径:截至 2025-06 生成式 AI 用户 5.15 亿、普及率 36.5%;备案服务增至 538 款(截至 2025-08)。
《2025 抖音搜索经营趋势报告》
抖音搜索年度经营趋势报告(转述口径):抖音 AI 搜索日均 PV 已达 3 亿——国民级内容 App 内的 AI 问答已是日常入口,战场不只在独立 AI App。
EBU×BBC:45% 的 AI 新闻答案存在显著问题
欧洲广播联盟与 BBC 联合研究(2025-10,路透社报道):45% 的 AI 新闻答案至少有一处显著问题——转述失真是 AI 新闻链路的固有风险层,非个别模型偶发缺陷。
Glenn Gabe 多语言实测:AI 平台频繁返回美式英文版
G-Squared Interactive 2025-12 实测:法/意/西语查询下 ChatGPT、Perplexity、Claude 频繁返回美式英文版页面,hreflang 对其他 AI 平台疑似无效。
Google 官方博客:robots 的未来(REP 是公共标准)
Google 搜索中心官方博客(Gary Illyes,2025-03):robots 排除协议(REP)是公共标准,任何单一方都无法单方面改动;新的 opt-out 偏好规则“极易扩展”。
IndexNow Insights:Bing WMT 提交效果报告
Bing WMT 内置的 IndexNow 提交效果报告(SEJ/SER 报道口径):累计提交 25 亿 URL、被点击新 URL 约 12% 经 IndexNow 发布——受理 200 不等于收录。
领英《B2B 制造业买家洞察报告》(2025)
领英 2025-04 发布的全球制造业买家调研:覆盖 1700+ 家制造业买家,追踪 2025 年采购行为数字化与 AI 化的变化——中文市场可见的报告为转载口径。
LLM 搜索行为的品牌与来源偏好
2025-09 论文:AI 搜索对第三方"赢得媒体"存在系统性压倒性偏好与大品牌偏差;各引擎在领域多样性、时效性、跨语言稳定性上差异显著。
MiniMax 港股招股书:用户规模与收入结构官方口径
MiniMax 港股招股书(截至 2025-09-30):全球 2.12 亿个人用户、集团 MAU 2760 万、C 端收入占比 71%+、海螺 AI ARPPU 56 美元——中国 AI 出海样本的官方文件口径。
Pew:AI 摘要对点击行为的影响
近 7 万次真实搜索的实证:有 AI 摘要时点击自然结果约 8%,无摘要约 15%;点击摘要内链接仅约 1%。
PoisonedRAG(知识库投毒攻击)
证明向 RAG 知识库注入极少量恶意文本即可高成功率操纵输出的安全论文——百万级知识库中每问题仅 5 条恶意文本即达约 90% 攻击成功率。
量子位智库《AI 智能助手的 SEO 策略变革研究报告》
「知乎被 AI 引用近 30%」的原始出处(2025):量子位智库测得知乎全品类被引频率 29.9%、专业知识领域 35.3%(豆包、元宝等主流 AI 助手口径)。
searchviu:23 个 AI 爬虫 JavaScript 渲染实测
searchviu 实测(2025-11-12 至 11-17):23 个主流 AI 爬虫中 69% 不能执行 JavaScript;GPTBot 下载 11.5% 的 JS、ClaudeBot 下载 23.84%,都当静态文本处理。
Semrush:AI 引擎最常被引域名研究
23 万+提示词、1 亿+引用的实测:Reddit 在 ChatGPT 引用占比从约 60% 暴跌至约 10%,维基跌破 20%,LinkedIn 上升;ChatGPT 与 Perplexity 引用域名重合仅约 11%(Profound 口径)。
Similarweb AI 引荐流量系列报告:大盘在涨、占比仍小
厂商自报口径:2025-06 AI 平台引荐访问月超 11 亿次、同比 +357%,ChatGPT 份额被后来者稀释——高增速与小占比要并排读的厂商监测证据。
TollBit State of the Bots:AI 抓取与引用监测报告
内容变现平台 TollBit 基于数百亿次交互的厂商遥测(2025-12):AI 引用链接 404 率分厂商时间序列,2025Q2-Q4 无视 robots.txt 的 AI bot 增长约 400%。
新榜:AI 搜索信源结构研究(1683 万 URL)
142.9 万次问答、1683.6 万信源 URL 的中文实证:第三方客观评测内容占 AI 搜索引用约 80.9%,品牌自推内容仅约 19.1%;体裁偏好榜单/教程/评测。
Corrective RAG(Yan 等):检索质量评估与纠正分支
轻量评估器给检索结果打分,低质文档被丢弃并回退网页搜索,模糊结果按知识条带精炼——"低质检索结果会被替换"的机制原型。
Gartner 传统搜索量下降预测(2024-02):机构预测级的环境假设
Gartner 预测到 2026 年传统搜索量下降 25%——方向已有实测背书、数值不可核算的机构预测,正确用法是流量结构预案的触发器。
GEO: Generative Engine Optimization(奠基论文)
首篇形式化定义"生成式引擎优化"的论文:GEO-bench 一万条查询实测九种内容战术,引语添加 +41% 最强、关键词堆砌唯一负收益。
对话式搜索引擎的排名操纵
证明越狱式提示注入可迁移到 perplexity.ai 等真实对话引擎黑盒生效的 EMNLP 2024 论文——网页内容劫持 AI 推荐的学术实证。
RGB 基准(RAG 四能力评估)
系统评估 6 个 LLM 在检索增强生成上四项能力(噪音鲁棒/负拒答/信息整合/反事实)的基准——拒答与信息整合仍是显著短板。
Self-RAG(Asai 等):让模型自查检索必要性与答案支撑度
模型用反思标记自查"要不要检索、材料是否相关、答案是否被支撑、是否有用"——引擎自查行为的学术原型,解释了为什么同一品牌的答案质量会分层。
商品页策略性文本序列(推荐操纵研究)
Harvard 团队证明在商品页加入特定"策略性文本序列"可大幅提高被 LLM 推荐为第一名的几率——商业语境下的排名操纵实证。
Vercel:AI 爬虫崛起报告
2024-12 数据:GPTBot 月请求 5.69 亿、Claude 3.7 亿、Applebot 3.14 亿,四大 AI 爬虫合计约为 Googlebot 的 28%;主流 AI 爬虫都不执行 JavaScript。
HaluEval(李等):幻觉的系统化评估基准
五千条真实用户查询配 ChatGPT 回答、三类任务共三万条样本,把幻觉从轶事变成可测量对象——品牌侧事实核查监测的方法论参照。
Lost in the Middle: How Language Models Use Long Contexts
多文档问答位置偏差的奠基实证:上下文首尾信息被充分利用、中部显著被忽略(U 形曲线)——解释了 chunk 排位与"答案前置"为何有效。
RAG 综述(Gao 等):三范式框架与生成式引擎的工程母体
检索增强生成最早的系统性综述之一:Naive/Advanced/Modular 三范式把"检索-生成"故障分层,是理解 AI 引擎为何引用你、又为何答错你的工程底图。
生成式搜索引擎的可验证性审计
对 Bing Chat/NeevaAI/Perplexity/YouChat 的引用审计:平均仅 51.5% 的生成语句被引文完全支持,引文本身也有约四分之一不支持对应语句。
DPR(Karpukhin 等):稠密段落检索——向量检索的源头
双编码器把问题与段落映射进同一语义空间,稠密向量检索在开放域问答上超过 BM25——今天答案引擎"按语义而非字面选源"的技术起点。