PDF 文件的抓取与引用形态：资产还是死重

站内白皮书、产品手册、行业标准常常只有一个 PDF 版本，而“AI 能不能读它”的答案不是简单的是或否：PDF 在搜索侧是一等公民，在 AI 爬虫侧的待遇则取决于文本层、控制面与发现通道三件事都做对。本页把 PDF 的可抓性拆开讲清：什么时候它是资产，什么时候它是死重，以及把它变成资产的最低施工量。

先立官方事实：PDF 在两条链路上的待遇

搜索侧的官方口径明确：Google 可以索引大多数常见文件类型，PDF 在列，其内容会被解析处理、在搜索结果里以文档形式出现——PDF 不是搜索的边角料，官方文档把它当正常内容类型对待。控制面上有一个结构性事实：PDF 文件体内放不了 robots meta 标签，页面级的控制指令对它无效，唯一可用的控制面是 HTTP 响应头的 X-Robots-Tag——这是官方文档明示的路径，也是非 HTML 资源通用的控制通道，规格细节见robots meta 与 X-Robots-Tag 档案。

AI 侧没有同等级的官方口径可引，我们能给的是工程判断：主流 AI 爬虫的抓取行为以取回内容为主，PDF 作为单文件资产可以被取回，但它没有 HTML 的超文本结构——内部没有可依链发现的相邻页，内容也无法按小节链接分享。把两者的结构差列全，一共三点：HTML 有标题层级与内链构成的导航语义，PDF 的“结构”只是排版视觉，解析方要靠启发式重建；HTML 的元信息有标准位置（标题、meta、结构化数据），PDF 的元数据字段常年没人填；HTML 可以整页、整节、整段三种粒度被引用，PDF 天然只有整体与拆块两种形态。因此 PDF 的“被引用形态”更接近整体取用：要么被引擎解析后拆块使用，要么在答案里以文档整体出现；chunk 级的可摘录化工艺（标题即小节答案、段落自含）在 HTML 页面上是配置问题，在 PDF 里是排版问题——标题层级用正文样式而不是真标题样式做、小节没有编号、图表不配文字说明，这些排版习惯都会变成解析方的理解噪声。机器可读性的连续谱概念见机器可读性术语卡。

三个判定点：文本层、门禁、发现通道

第一个判定点是文本层。文字型 PDF（由文档直接导出）自带可选择、可提取的文本层，引擎可以解析；扫描型 PDF 本质是一叠图片，没有文本层，对任何解析方都是图像——没有 OCR 就没有内容。中文环境里扫描件的比例不低，这块死重最大的特征是：它对人是可读的，对机器是空文件，站长常常意识不到自己有一整批不可见资产。判定动作很便宜：在阅读器里试着选中并复制一段正文——复制出来是乱码或选不中，文本层就有问题；还要提防“混合型”——正文有文本层、图表与表格是贴图，这类文件的表格数据对机器同样不可见，而表格恰恰常是文献里最值钱的部分。

第二个判定点是门禁。表单后面才能下载的 PDF、要登录才能拿到的白皮书，对爬虫就是墙外之物——这与登录墙对页面可见度的代价同构，只是更彻底：页面版至少能被收录元信息，门后 PDF 什么都留不下。想做线索转化又不想全损可见度，业界通行的折中是“摘要页公开、全文做转化”：HTML 摘要页承载结论与关键数据供抓取，完整 PDF 放在转化路径上。折中的分寸要拿捏：摘要页若薄到只剩目录与推荐语，抓取方拿不到可引用的实质内容，折中就退化成了自欺——至少把核心结论、关键数据与方法框架放进公开层。

第三个判定点是发现通道。PDF 没有内链结构，被发现只有两条路：站内页面链接到它，或进 sitemap。站内链接的锚文本是它唯一的“标题信号”，用“下载白皮书”这类空锚文本等于放弃了语义声明；sitemap 的规格与 AI 侧消费现势见sitemap 档案。地址稳定性同样适用——PDF 地址改动不留重定向，外链与引用即刻变 404。

什么时候是资产，什么时候是死重

PDF 作为资产的场景有三类。其一，体裁本身就是 PDF 的内容：标准文件、行业规范、官方公告——引用这类内容时“PDF 是原始出处”反而是权威信号。其二，长文档的白皮书与研究报告：结构清晰、文本层完整、地址稳定的 PDF 会被引擎当作完整文献取用，白皮书与案例页的被引形态差异见案例页与白皮书的区别。其三，需要打印、签署、存档的功能性文件——这类文件不必为可抓性做任何事，认清它不是内容资产即可。

死重的特征也三条：扫描件无文本层；门禁后不可达；地址漂移或与 HTML 版本内容重复又没有声明归属。第三条的处置办法是做双生页——为有引用价值的 PDF 配一个 HTML 版页面，承载同样的内容结构，页面指向 PDF 下载，PDF 与页面用规范声明归一到页面。双生页的实施要点有三：HTML 页面承载全部关键结论与核心数据，而不是一段“下载引导语”——引擎引用的是页面内容，不是下载按钮；归属声明方向要统一，常规做法是 PDF 声明归属到 HTML 页，让合并后的信号落在会被引用的那一端；站内一切指向该文献的链接都链到 HTML 页，别让两种入口并存分流。双生页的成本主要在排版转换，收益是内容同时进入“可被检索、可被摘录、可被引用”三个通道；归属声明的机制背景见规范链接（Canonical）术语卡。

施工清单与验收

给存量 PDF 做一轮盘点的动作清单：按访问日志与站内链接清出全部 PDF 资产；逐个判定文本层有无（能否选中复制文字是最快的土办法）；有文本层、有引用价值的，补 HTML 双生页或至少补齐锚文本与 sitemap 登记；无文本层但重要的，走 OCR 或干脆重制；门禁后的 PDF 改成摘要页公开加全文转化；该退场的用 X-Robots-Tag 明确排除，而不是留一个没有文本层的空壳占着地址。

验收标准一句话：站内任何一个“该被 AI 读到”的 PDF，都应该有一个可抓取的 HTML 入口页，且这个页面对它的内容有实质摘要——做到这一步，PDF 才从死重变成了资产。发布新 PDF 时的检查项可直接并入模板栏的Pdf 白皮书检查单使用。