AI Labyrinth（AI 迷宫） AI Labyrinth

AI Labyrinth 是 Cloudflare 于 2025-03-19 上线的防御功能（opt-in）：对无视 robots.txt 的爬虫，不再简单封锁，而是把它们引向一条由 AI 生成内容构成的诱饵页迷宫。这些页面与站点真实内容无关、人类访客看不到，爬虫却会顺着链接一层层爬下去——每多爬一层，消耗的都是爬虫自己的抓取预算与算力，源站真实页面反而省下了流量。爬行行为本身还会变成识别信号：沿着诱饵迷宫持续深入的模式，是机器抓取的强特征。

GEO 语境

它标记了拦截思路的转向：从「挡在门外」到「让违规抓取变得昂贵」。放在 Cloudflare 的边缘工具箱里看定位最清楚——代管 robots.txt 是规则层收紧，Pay Per Crawl 是价格门槛，AI Labyrinth 是资源消耗战，三者都是 robots 协议层之外的实际闸门，机制对照见CDN 与缓存对 AI 抓取的影响档案。对站方的两个推论：其一，robots.txt 的「君子协定」属性越来越明显——无视声明的 AI bot 在增长（TollBit 口径 2025 年三个季度约 400%，单源），防线在往边缘层移动，自建站至少要评估 WAF 与限速这两层；其二，防御与可达要分开决策：诱饵迷宫针对恶意抓取，别把它与对合规 AI 爬虫的开放策略混为一谈——前者是安全配置，后者是流量与引用策略，全景见爬虫访问控制实战档案。混着配的常见后果，是把本来想要的爬虫也挡在了门外。