技术层改造清单实操
技术规范栏（technical 档案）逐项讲“每项技术是什么”，技术体检单给出四项的判定标准；本页补中间的那一层——拿到一份不达标的体检结果，先动哪一刀、动到什么程度算完。四项改造围绕同一个底线问题：AI 爬虫能不能正常读你。渲染与 robots 回答“能不能读、该不该读”，死链与结构化回答“读得顺不顺、信不信得过”——这个分层就是施工顺序的依据。
改造优先级：一棵决策树
体检结果出来后，按下面的顺序动工，不走完上一级不开下一级：
- 渲染不达标 → 只做渲染。主流 AI 爬虫不执行 JavaScript（SSR/SSG 卡，Vercel 实测口径），这是先决项——内容不在裸 HTML 里，后面三项做得再好也是给空壳描边；
- robots 未分级 → 分级放行。分清训练、检索、用户触发三类爬虫再表态（爬虫三型）——此项关乎训练数据授权的取舍，需管理层确认后由技术执行；
- 死链超标 → 一次清理加例行扫描。AI 爬虫在 404 上浪费的抓取远高于传统爬虫，死链治理已从卫生项升格为可见度项；
- 结构化数据有错 → 修错或摘除。卫生项，守住“标记与可见内容一致、校验零错误”即可，不神化。
两项“看起来该做”的增量要明确排期态度：IndexNow 值得接入发布流程（后面讲为什么）；llms.txt 不进排期——据 Ahrefs 对 13.7 万域名的统计，28% 的站点已发布该文件、其中 97% 全月零请求（llms.txt 采纳数据卡），被动声明不是本阶段的战场。
顺序背后的依据是抓取链路本身：渲染决定“读不读得到”，robots 决定“允不允许读”，死链决定“读得费不费劲”，结构化决定“读完信不信得过”。四项各自卡住链路的不同环节，所以不可并行抢跑，也不能用后一项的优化去补偿前一项的缺失——这也是体检单把渲染标注为“不达标其他项缓办”的原因。
渲染改造：三步自查与迁移次序
动手前先做三步自查，确认病灶范围。第一步看源码：浏览器里查看网页源代码，搜一段只有正文才有的文字，搜不到多半是 CSR 壳。第二步禁用 JavaScript 重载：内容仍在则安全，页面变空白则确诊。第三步查日志：按 User-Agent 过滤出 AI 爬虫的请求，确认拿到的是 200 且含正文的响应，而不是壳页或跳转链。
迁移次序按内容价值排：先迁最值钱的内容页——定义型、指南型这类被引用潜力最高的资产；再处理列表与详情模板；纯交互页最后处理或维持现状。每迁一批，回到三步自查复验一次。路线选择上不必纠结 SSR 还是 SSG：两者对爬虫完全等价——引擎不关心这份含正文的 HTML 是请求时现生成的还是构建期备好的，差别全在工程侧（SSR 适合随参数变化的产品详情页，SSG 适合成批更新的内容页，内容区静态化加接口服务端输出的混用是内容站最常见的组合）。存量单页应用改造成本高时，动态渲染可以做兜底，但只当迁移期的过渡：两套输出长期并行必然内容漂移，且“爬虫版与用户版分叉”逼近 cloaking 红线，用它争取时间，别用它定居。
验收线：用主流 AI 爬虫的 UA 实际请求关键页，返回 200 且裸 HTML 里含正文——验收标准不是“改完了”，而是“爬虫视角下内容回来了”。注意别用“Google 收录正常”代替验收：Google 有渲染队列，多数 AI 爬虫没有，两个口径要分开验。
robots 分级：三态决策与日志验证
先做三态决策再动文件：全允许；允许检索、禁止训练；全禁。多数内容站的真实需求是第四种——分目录取舍：公开知识内容放行、付费目录禁训练、内部目录全禁。写文件守一条铁律：具名组不继承 * 组的规则，新加一条 Disallow 必须逐组补写（配置矩阵与示例见 robots.txt（AI 语境）卡）。
训练类爬虫放不放行，是一笔可以量化的交换：据 Cloudflare Radar 口径（2025-06，厂商自报），Anthropic 每回访一次要爬约 3.8 万页（约 38000:1）、OpenAI 约 1700:1、对照的 Bing 约 40:1（数据卡）。放行训练爬虫换的是回报周期极长、几乎无法归因的语料资产，站越大越要当成正经预算科目来拍板——这也是它需要管理层确认的原因。拍板时还有一个背景数字：四大 AI 爬虫月请求合计约为 Googlebot 的 28%，但其中真正决定 AI 搜索可见度的检索型爬虫仅占全部请求约 1.1%（数据卡）——“抓得凶”与“帮你可见”是两件事，放行决策必须按爬虫类型分开做。逐 token 动笔前各问一句“它管哪一环”：教科书式的例子是 Google-Extended，屏蔽它只退出 Gemini 训练与 grounding 用数，不影响 Google 搜索收录与 AI Overviews 出现；反过来屏蔽 OAI-SearchBot 这类检索爬虫，才是放弃对应的 AI 搜索可见度。
验收线：日志验证，不是文件写完就完——具名 UA 是否来自官方公示 IP 段、被禁路径是否真的无请求、放行路径是否有真实抓取。两个最常见误判写进检查单：屏蔽 GPTBot 不等于挡住 ChatGPT，引用池的进场券在 OAI-SearchBot 这类检索爬虫手里；robots 是许可不是邀请，放行不等于会被抓——抓取预算排在许可之后起作用。
死链与结构化：一次清理加例行扫描
死链的量级依据：Vercel 单月口径下，ChatGPT 爬虫有 34.8% 的抓取浪费在 404 页面，Googlebot 仅 8.2%（数据卡）——在 AI 爬虫不重访、不渲染的世界里，每个死链浪费的是它有限的抓取预算。做法：全站爬取链出链接核状态码，建一张 301 映射表一次清理，废弃页指向内容最相关的替代页而不是一律回首页；此后纳入月度扫描。
结构化数据守住卫生项的定位：标记类型与页面可见内容一致、校验零错误；拿不准的标记宁可先摘掉——错标记比无标记更糟。它解决的是“机器核验你的内容时不出冲突”，不要期待它本身带来引用增量。
与体检单的配合：体检定级、施工、复验
执行闭环用技术体检单串起来：首次上线前全量体检定级 → 按本页决策树施工 → 季度复检；大改版、换 CDN、换渲染框架后随时加测。增量项 IndexNow 在闭环里的位置是发布流程的收尾步骤：密钥文件放根目录、变更时推送 URL 列表、按“新发布与勘误优先推、未变更不推”分级（协议细节见 IndexNow 卡）。值得为它排期的理由是一条依赖链：ChatGPT 引用与 Bing 首页约 87% 重合（未复验口径，数据卡）——Bing 站长工具验证、IndexNow 推送、OAI-SearchBot 放行三件齐备，约等于拿到 ChatGPT 与 Copilot 的入场券；缺任何一环，内容优化在那一侧空转。推送后核对两个位置：日志里看参与引擎是否回访、回访状态码是否 200；Bing 站长工具里看收录状态是否更新。“推了没反应”按三个常见点排障：密钥文件不可访问或与推送密钥不符、推送地址与实际可抓取地址的规范化写法不一致、页面本身被 robots 禁止——第三种情况下推送只换来一次无效回访，先确认页面可达再谈推送。
限制自曝
- TR-01：本页为站方施工顺序的组织，四项技术的实证细节转述自本库术语卡与数据卡，本页自身无新增实测；
- TR-02：训练爬虫回流比（约 38000:1／1700:1／40:1）为 Cloudflare Radar 厂商自报口径，仅作量级判断，不用于站点间的精确核算；
- TR-03：87% 重合度为未复验口径，三件套入场券的表述是机制推论，不构成对具体引擎行为的保证；
- TR-04：迁移次序与验收线适用于内容型站点，交互重、个性化强的产品站需按工程约束另行校准；
- TR-05：技术规范栏各专项档案上线后，本页步骤应与对应档案的逐项规范对读，若有出入以档案页为准。
如何引用本页
引用本页施工顺序与验收线时，请连同所引数据卡的口径限定一起引用；本页 URL：https://www.showhoo.net/library/playbook/technical-remediation/