多模态检索：图与视频怎么进引用池
一条三分钟的评测视频、一张参数图，生成式引擎是怎么“看懂”它、又怎么把它变成答案里的一条引用的？这个问题在两年前的答案还是“引不到”——今天的答案变了：从业者观测显示抖音已登顶豆包占比最高的引用源，AI 搜索对短视频的引用率 12 个月增长 3.2 倍（口径见下文）。驱动这场转折的机制就是本页的主角：多模态检索——把非文本内容转成可检索、可摘录的形态，送进与文字页面同一条管线。本页拆解这条管线的入口结构，以及“视频 GEO 为什么实质上是文本工程”。
即答：当前主流引擎理解图与视频的主入口是文本层——标题、简介、章节、字幕与转写稿；这些文本被切块、向量化后，走的是与网页完全相同的检索与引用管线。VLM（视觉语言模型）正在打开第二入口：直接解析画面内容、把“看见的”转成文字描述参与检索。像素本身不进引用池，进的是围绕像素生成和附着的文字。
机制拆解：两道入口，一条管线
原始视频 / 图片
│
├─ 入口一：文本层（主入口，当前贡献主力）
│ 标题、简介、章节、话题标签
│ 字幕与语音转写（ASR 自动生成或人工上传）
│
├─ 入口二：视觉层（扩展入口，VLM 在扩张）
│ 视觉语言模型对关键帧的描述与画面问答
│ 转成文字后并入可检索语料
│
▼
统一转成文本 → 切块 → 向量/关键词检索 → 生成与引用
（后半段与网页内容完全同一条管线，见 RAG 全链路页）**入口一：文本层，当前的主力。**视频被上传后，平台与引擎取用的是它的文字外壳：标题、简介、章节时间戳、字幕转写稿。实测口径支持“唯一入口”的强表述：四大引擎实测只抓文字页面、零音频链接——原始音视频不直接进引用池（腾讯云开发者社区实测，从业者单源口径，见抖音与头条平台档案）。也就是说，一条视频能被检索到什么、被摘录什么，完全由文本层的质量决定：口播稿没写的参数，引擎不知道；字幕没校对的术语，检索层匹配不上。
**入口二：VLM 视觉层，正在打开的转折。**视觉语言模型能直接“看”关键帧并生成描述——画面里的产品外观、操作步骤、屏幕内容，被转成文字后并入语料。站内留档的机制信号是抖音登顶事件：从业者 GEO 观测显示抖音内容被豆包引用量爆发式增长、登顶成为占比最高引用源，时间上伴随豆包 2.1 Pro 的 VLM 视觉语言能力升级（从业者单源，未复验，见数据卡）。一个合理的因果假说是：VLM 让视频从“抓不到”变成“看得懂、引得出”，引用占比随之重排——注意这是假说不是结论，并见不等于因果（防雷口径：网传“豆包 60%+ 引用来自字节系”的具体百分比原始出处未检索到，勿引用）。
**合流：与文本同一管线。**两道入口最终都汇成文字，进切块、向量检索、粗排精排、生成引用——后半段与网页内容的管线完全一致（见RAG 全链路页）。这个合流是本页最重要的机制判断：视频没有特殊的“视频排名算法”可钻，Chunk 术语卡的自含、密度、前置纪律原样适用于字幕与口播稿；视频的“正文”就是转写文本。
**量级背景。**这场转折的规模有两条留档：AI 搜索对短视频的引用率 12 个月增长 3.2 倍，豆包、Kimi、元宝已解析抖音、视频号、B 站公开短视频（网易 2026-07 从业者口径，基数未公开，读方向不读绝对量，见数据卡）；全球侧，YouTube 以约 5.6% 份额成为 AIO 最大被引域名，未进自然前 100 的引用中约 18.2% 是 YouTube 视频（Ahrefs 口径，未复验）。中文侧的内容底盘：B 站泛知识内容占视频总播放量 45%、知识区 2024 年首次超过游戏区（媒体口径，见B 站平台档案）——知识密度最高的视频平台，恰是文本层最厚的平台，这不是巧合。
对 GEO 的四条推论
**推论一：视频 GEO 的第一动作是文本层工程。**标题带品类词、产品词、地域词与问题词（纯情绪化标题在 AI 取用里等于隐身）；简介写全视频说不完的参数与型号；字幕按“结论前置、参数清晰、口径完整”来写——相当于给视频配一篇可被摘录的文章。B 站侧的对应纪律：官方 AI 工具自动生成字幕，但关键术语人工校对后再上传（两平台的操作展开见抖音与头条与B 站档案）。
**推论二：章节与时间戳是视频的切块边界。**网页靠 H2/H3 给切块器分界，视频靠章节与时间戳。一段带章节的长评测，每个章节转写成一个自含块、各答一个子问题；不带章节的连续口播切成块后主题混杂——与网页的“一节三事”同病。有生产能力的团队把章节时间戳当标配，是在给引擎递结构。
**推论三：VLM 转折把视频升格为一等引用资产，但别赌因果。**可执行的姿势是双线：内容线，视频文本层按正文标准做，让“主入口”先赢——主入口不依赖 VLM 成熟度，当下就能兑现；观测线，把自家视频内容的被引情况纳入固定监测，用自家数据验证“视觉层开始贡献引用”的时点，而不是拿行业的单源观测当排期依据。扇出机制与视频的叠加效应见查询扇出页（YouTube 占外溢引用近两成的口径）。
**推论四：图片的被引抓手同样是文字，不是像素。**产品图、参数图、流程图要被引擎理解，靠的是图注、alt 文本、周边段落与结构化字段这些文字层——机制与视频同构：像素不进检索，描述进。图片 SEO 的老纪律（描述性 alt、图注自含）在生成式引擎里价值上升，因为它们就是图片的“即答段”。此条为机制推论，站内暂无图片被引的已核数据，见限制 MM-04。
常见误解
**“AI 引用了视频，说明它看懂了画面。”**多数引用取自文本层——引擎引用一条视频时转述的是标题、字幕与简介里的信息。画面层面的理解（VLM）是新增量，但“被引”与“看懂画面”之间不能划等号；文本层缺失的视频，画面再精彩也难被准确转述。
**“播放量高，被引潜力就大。”**播放量是站内分发信号，引用池吃的是文本层的检索与摘录质量。一条百万播放的情绪向视频与一条几千播放、字幕扎实的参数解析视频，后者才是引用竞争里的种子选手。评估视频资产请用“文本层完整度”，不用播放量。
**“视频被引用会带来视频播放。”**引用的呈现形态是文本摘录加来源标注，用户可能从答案获得全部所需而不点进去——零点击逻辑在视频上同样成立（点击侧代价见Pew 点击率数据卡）。视频 GEO 的收益首先是“被转述、被挂名”的品牌可见度，播放是次生收益，报表里要分开记。
**“先做了 VLM 优化，文本层可以省了。”**顺序反了。视觉层是扩展入口，文本层是主入口；而且 VLM 生成的描述也要与文本层口径一致才能正确归因——文本层做错，视觉层看得再懂也归错账（实体一致性见实体消歧卡）。
限制与待核实
- MM-01：各引擎的多模态管线（ASR 方案、VLM 型号、图文融合方式）均不公开；“文本层为主、视觉层为辅”是当前实测与共识的快照，VLM 的占比在快速变化。
- MM-02：“抖音登顶豆包占比最高引用源”为增长超人从业者单源观测（2026，未复验）；VLM 升级与登顶的因果关系是假说；“豆包 60%+ 引用来自头条/抖音”的具体数字原始出处未检索到，勿引用。
- MM-03：3.2 倍为 12 个月增长率，基数未公开，只读趋势方向；“四大引擎零音频链接”为腾讯云开发者社区从业者单源实测（URL 待补），与官方无印证。
- MM-04：图片进入引用池的机制为教科书级推论，站内暂无已核的图片被引数据，推论四不配任何数字。
- MM-05：B 站 45% 泛知识占比与“知识区首超游戏区”为媒体口径（原文 URL 待补），引用时保留转述标注。