CDN 层 bot 管理实操：控制项对照与放行策略落地

robots.txt 表达偏好，CDN 执行决策——这句分层判断在 2026 年已经从趋势变成常识。本页不讲某家厂商的策略演变史，讲任何厂商的边缘层都能落地的三件事：控制项有哪些、放行策略怎么设计、误伤怎么排查。Cloudflare 的默认值反转时间线与 pay-per-crawl 协议细节是另一张卡的议题（见爬虫访问控制实战档案），缓存与付费协议的技术流见CDN 与缓存对 AI 抓取的影响档案，本卡只做跨厂商的实操框架。

闸门的位置：为什么实操都在边缘层

协议层的三个结构性缺口决定了边缘层的位置。其一，user-triggered 类爬虫官方就不承诺遵守 robots.txt，协议层管不到它们。其二，robots.txt 是君子协定，违反没有任何技术后果，而无视规则的流量近年持续增长。其三，robots 只能表达“路径级”的意愿，表达不了“按用途区别对待”——想“放搜索、挡训练”，协议层写得出、执行没保障。三个缺口最终都指向同一个执行点：流量进站前的边缘层。CDN、WAF、应用网关都是这个位置的具体形态，本页统称边缘层。

六类控制项：从单条规则到类目开关

边缘层可用的控制手段，按粒度从细到粗排成六类。

六类的选用没有标准答案，但有一条组合逻辑：身份判定交给验证机制，策略执行交给类目或规则，两段别混。把“UA 里写着 GPTBot”当成“它是 GPTBot”来配策略，是边缘层最贵的错误——伪装成本为零的字符串不该承担身份判定的重量。

选型还要看团队的维护预算。具名 UA 规则最精细，也最费维护——名单要跟着厂商扩员走，漏一条新爬虫就是一截失控流量；类目开关粗但省心，平台替你追名单，代价是把“谁算训练爬虫”的定义权交给平台分类器。小团队与无工程团队的站点，类目开关加验证爬虫程序是性价比组合；有安全工程能力的站点，具名规则加自建验证清单才有分爬虫表态的精度。多数站点的现实答案是两者混用：主力策略用类目，对个别要特殊对待的爬虫叠具名例外。

两段式放行：先认身份，再套策略

第一段是身份判定。三关流程（UA 命中、官方 IP 清单核对、反解闭环）在边缘层落地时，Perplexity 的官方建议是唯一写成了配置范式的：UA 字符串匹配加官方 IP 清单双重校验，清单设自动化定时刷新——这套范式可直接抄作自家防火墙规则的模板（见Perplexity 官方 WAF 范式数据卡）。各家厂商的验证端点各有差异（分爬虫清单、家族共用清单、反解域各有其制），逐家核对的做法见验证方法档案。密码学验签（Web Bot Auth）是身份层的升级方向，验签通过是强信号、缺失不是伪信号，部署路径见Web Bot Auth 部署实操。身份判定的产出要在日志里留痕——每条请求打上“已验证/未验证”的标签，后段的策略复盘才有依据。

第二段是策略执行。身份确认后按三型分路：检索型放行并保障渲染资源可达；训练型按站点的语料策略决定；用户触发型单独一档——它们协议层管不到，边缘层是唯一闸门，策略目标不是挡光而是限滥用：对 user-triggered 流量设合理速率上限，比对整个类目一刀切更能兼顾可见性与成本。策略还要落到路径维度：同一类爬虫在不同目录可以有不同待遇——零价值路径（站内搜索、参数页）对训练型收紧，高价值内容路径全量放行，路径分组的方法论见AI 爬虫抓取预算管理。策略要落成配置而非口头共识，且每次调整后到日志里核对“配置的”与“实际发生的”是否一致。

三类高频误伤与排查顺序

边缘层配置事故有一份高发清单。第一类，整族屏蔽训练爬虫时误伤搜索：多家大厂爬虫兼任搜索与训练用途，按“最严规则生效”的类目逻辑，屏蔽训练类目可能连搜索抓取一起挡——想保搜索必须用精细化配置而不是整族开关，这是新默认值时代最典型的误伤。第二类，挡掉渲染资源：安全规则把脚本、样式目录当可疑路径拦截，会渲染的爬虫整页读不全，症状是“放行了却没被收录”，而拦截日志与内容团队之间隔着两层，往往很久没人对上。第三类，robots.txt 自身的边缘故障：协议文件经过边缘层时被缓存了错误版本、被规则误拦返回异常状态码——而 robots 文件的异常状态码有一套放大性语义（异常持续时规则按失效处理），全站的协议表态可能因为一条边缘规则静默归零。

排查顺序建议固定：边缘层异常往往最先在 AI 爬虫侧显形（它们流量大、对状态码敏感），但受害者名单从不止 AI 爬虫——同一条规则同样作用于搜索引擎与真实用户。所以顺序是：先查边缘规则命中日志，再查源站响应，最后才怀疑爬虫行为本身。“AI 抓取异常先查自家边缘配置”应当成为运维直觉，而不是最后一步的顿悟。

把整套实操收成一条节奏：初始配置一次做对（身份判定先行、三型分路、路径分组），之后按季度做两件例行——对照官方文档更新爬虫名单与验证清单，用日志复盘策略与实际行为的一致性。边缘层的规则没有“配完即终”的状态，名单在变长、厂商默认值在变严，把复查设为日历事件而不是记忆任务，是这套实操能长期成立的前提。