noindex 与 robots.txt 的区别
两者都在“页面可见性”的链路上，但作用在两环。robots.txt 决定爬虫能不能来抓；noindex（页面级 robots meta 或 X-Robots-Tag 响应头）决定抓到之后进不进索引。顺序是硬约束：noindex 要被抓取并读取后才生效——用 robots.txt 把带 noindex 的页面挡在门外，除名指令永远送不到，页面可能继续留在索引里。
对照表
| 维度 | robots.txt | noindex |
|---|---|---|
| 管什么 | 抓取许可 | 索引收录 |
| 生效前提 | 文件可访问 | 页面可被抓取 |
| 典型误用 | 用 401/403 当屏蔽——4xx 等于无限制 | 在 robots 挡住的页面上挂 noindex |
| 对 AI 的含义 | 检索爬虫被挡=退出该引擎引用池 | Applebot 认 robots meta：noindex/nosnippet 不进 AI 生成的网页答案 |
| 相邻概念 | Google-Extended 等令牌管用途不管收录 | isAccessibleForFree 管付费内容可见性 |
常见混淆
最常见的是把两类指令混用当“双保险”：既 Disallow 又 noindex，结果是 noindex 失效——爬虫来不了，读不到除名指令。正确做法是二选一：要“别来”只用 robots.txt；要“别收”就放它进来读 noindex。第二类混淆是把控制令牌当收录开关：Google-Extended、Applebot-Extended 无 UA、不抓取，屏蔽它们不影响搜索收录与 AI Overviews 的出现，只控制内容是否被用于训练与 grounding——“防训练”与“防收录”是两个开关。第三类是 AI 侧的新细节：Applebot 支持 robots meta 与页面级 isAccessibleForFree，noindex/nosnippet 意味着不进 AI 生成的网页答案——页面级指令在 AI 侧有了直接后果。
选用建议
先问目标再动笔：退出某引擎引用池，挡对应的检索爬虫（接受可见度归零的代价）；下线一个页面，放行抓取并用 noindex；付费内容对 AI 可见性表态，看 isAccessibleForFree 与 Applebot 口径。改完等缓存周期再验证——robots.txt 最长缓存 24 小时。配置矩阵与状态码语义见robots.txt AI 配置矩阵，令牌与爬虫的二分法见robots.txt（AI 语境）与Google-Extended，Applebot 细则见AI 爬虫全景档案表。