WordPress 站的 GEO 技术配置清单
WordPress 是全球占比最高的建站系统,也因此在 AI 爬虫潮里有着最典型的处境:生态里人人都在装插件,而插件之间会互相打架——缓存插件、安全插件、SEO 插件各自都在碰 robots、sitemap 和请求过滤,谁覆盖了谁往往没人查过。本页按四个施工面把 WordPress 站的 GEO 技术配置过一遍,方法论通用于任何 CMS,插件相关的坑位以工程实践口径给出。
第一施工面:固定链接与 URL 稳定性
AI 爬虫与搜索引擎爬虫有一个行为差异对 WordPress 影响最大:它们不严格沿链接图爬行,会自行推断与重构 URL。WordPress 的动态地址结构在这样的访客面前是双刃剑——路径规则简单可猜,猜错的比例也相应高;猜错的表现就是 404。Vercel 的研究口径显示,ChatGPT 与 Claude 的抓取请求里超过三成以 404 结束、远高于 Googlebot(见ChatGPT 与 Claude 抓取 34% 以 404 结束数据卡),死链治理因此从“站内卫生”升级为“AI 可见度项”,展开见抓取效率与 404 治理。
落到 WordPress 的具体动作有四件。固定链接结构一次定好不再改,文章地址里不要混入日期、分类多级目录这类“将来会后悔”的成分;改 slug 必须配重定向,旧的、外链指向的地址要留着应答而不是返回 404;标签页、分类页、分页这些聚合页的地址形态保持稳定,不要随主题改版漂移;删除内容优先做跳转或返回明确的状态码,别让死链滞留在站内链接与 sitemap 里。主题与插件卸载时要留意它们注册过哪些地址类型——留下一堆残址是 WordPress 站 404 的常见来源。
重定向这件事在 WordPress 上要特别提醒一句:重定向规则是分层的,CMS 层的重定向插件、服务器层的规则、CDN 层的转发各管一段,排查“跳转没生效”或“跳转链过长”时三层都要看。跳转链每多一跳,AI 爬虫跟丢的概率就高一截——规则收敛到一层、一跳到位,是比修单个死链更值得做的治理。
第二施工面:robots 与 sitemap——先弄清谁在生成
WordPress 的 robots.txt 有两种存在方式:站点根目录的物理文件,或 SEO 插件生成的虚拟文件。物理文件存在时它优先——这是“改了插件设置却没生效”的第一嫌疑人,施工前先确认根目录有没有遗留的物理文件。内容层面,AI 爬虫规则必须逐条写具名组,WordPress 默认 robots 只有一条通配组,对具名 AI 爬虫不生效;具名组的写法与三种姿态见robots.txt AI 配置矩阵,此处不重复语法。编辑入口也要统一:决定用插件的界面管 robots,就别再手工维护根目录文件,两个入口并存时没人说得清线上生效的是哪份。一个高频误区也顺手记下:为了“减少后台压力”在 robots 里屏蔽脚本与样式目录,会让会渲染的爬虫(Googlebot、Applebot)读不全页面,WordPress 的目录结构让这条错误特别容易发生,因为静态资源全部集中在固定目录里。
sitemap 侧,现行版本的 WordPress 核心已内置 sitemap 功能,SEO 插件又会提供自己的版本,两者并存时注意别让重复的 sitemap 地址散落各处;robots.txt 里声明一个、以它为准。内容范围上,sitemap 只收规范地址:参数变体、聚合残页、跳转目标都不要进清单——sitemap 里的脏地址会被爬虫当正式邀请去消费,白白消耗抓取份额。sitemap 的协议规格与“AI 爬虫是否消费它”的现势档案见sitemap 档案——一句话预告:sitemap 对搜索侧是标配,对 AI 侧的发现价值各家用法不一,但保持它的新鲜与准确没有坏处。
第三施工面:缓存、安全与反爬插件——朋友与误伤位
页面缓存插件对 AI 抓取是朋友:把动态页面固化成静态响应,等于顺手满足了“首响应含全文”的要求。要留意的只有两点——缓存的页面必须是完整 HTML(别把渲染也推迟到浏览器端),以及清缓存节奏要跟内容更新节奏配合,否则 AI 侧长期读到旧版。移动端与桌面端分开缓存的插件还要多查一步:两套缓存给出的内容是否一致,双端版本漂移是渲染纪律要拦的问题。
安全与反爬插件是误伤重灾区,按三类说。第一类,UA 黑名单类插件:不少防火墙插件与安全插件内置“恶意爬虫名单”,近年更新后普遍把 AI 爬虫整族拉入——这本身是一种立场,但很多人是被默认值代表做了决定。装了这类插件的站点,先去名单里查 GPTBot、ClaudeBot、OAI-SearchBot 这些具名条目,把“要不要挡”的决策权从默认值手里拿回来。第二类,频率限制与登录保护:按 IP 限速的保护逻辑可能把周期性大流量抓取判定为攻击,触发整段 IP 拦截;被误伤后 AI 爬虫读到的是拦截页而不是你的内容,且这种故障在内容后台完全不可见。第三类,验证码与挑战机制:真爬虫不会解挑战,挑战等于对爬虫的全面封锁——如果这符合你的立场,至少要确认 robots.txt 的表态与边缘行为一致,别出现“robots 说欢迎、边缘全拦下”的自相矛盾。云防火墙(CDN 层的 AI 爬虫管理)与本地插件的双重配置更要注意:两层都有开关时,以更严的一层为准,见爬虫访问控制实战档案。
第四施工面:施工顺序与验收
建议的施工顺序是四步。第一步修渲染:确认主题在禁用 JS 时正文可读,这是所有配置的前提。第二步写 robots:清理物理文件与插件生成权的冲突,按具名组写清 AI 立场。第三步理 sitemap 与固定链接:单一 sitemap 源、地址稳定、死链配重定向。第四步上日志验收:配置改完不算完,日志里核对各具名爬虫的实际到访、状态码分布与路径覆盖,验收方法见服务器日志采集配置。顺序本身有逻辑:渲染是地板,协议是表态,发现是邀请,日志是裁判——跳步施工的结果常见于第四步,裁判翻开日志才发现第二步的表态根本没生效。
整体施工清单与方法论在技术层改造清单的实操卡里有跨平台版本,WordPress 站的差异只在插件层的排查——把“谁在生成 robots、谁在挡请求、谁在缓存页面”这三个问题对着插件清单各查一遍,多数配置事故在施工期就能拦住。反过来也成立:WordPress 站上“内容明明改了、AI 侧迟迟不动”的观察,先查缓存层再怀疑算法,这个顺序能省下大量无效排查。
引用来源
- Google——创建 robots.txt 官方指南
- ai-robots.txt 社区清单(GitHub)