RSS 与结构化 feed:老协议在新链路里的角色
RSS 诞生时没有 AI,但它的设计目标恰好是 AI 爬虫现在需要的东西:一份静态 XML、结构固定、机器不用渲染就能解析、每个条目自带地址与时间戳。在“多数 AI 爬虫不执行 JavaScript、只吃静态内容”的现势下,这份老协议反而站到了新链路的要道上。本页讲清它在新链路里的三条职责、一个真正的取舍,以及与 sitemap、IndexNow、llms.txt 的分工边界。
一个前互联网时代协议的三条新职责
第一条职责是全文通道。全文输出的 RSS 等于给抓取方一条零渲染的取用路径:不用进站、不用执行脚本,一份 feed 就能拿到标题、正文、时间与地址。对以静态抓取为主的 AI 爬虫,这是成本最低的内容供给形态;对站点,它是除页面 HTML 之外的第二份机器可读底稿——而 RSS 的可读性是协议保证的,不依赖页面模板写得规不规矩。前端渲染做得再激进的站点,feed 里的全文依然是静态的,这层保底在渲染事故、弱网环境与静态抓取三种场合同时生效。
第二条职责是变更哨兵。feed 天然按时间排序、自带发布时间,任何按时间轴消费内容的系统(包括爬虫的发现策略)都能用极低的成本感知“这个站最近发了什么”——一次请求就能完成全站增量发现,比遍历地址清单便宜得多。发布时间字段的规范填写因此不只是格式洁癖:它是站点活跃度的机器可读声明,与时效采信的关系见时效信号(Freshness Signal)术语卡。
第三条职责是稳定性声明。RSS 条目里的唯一标识与链接字段一经发布就不该再变——这是协议社区的旧纪律,放到今天恰好就是“URL 稳定性”的演练场:改了地址不留重定向的条目,在新链路里与在浏览器里一样是死链。
格式层面不用纠结:RSS 2.0 与 Atom 都是成熟规范,解析方通吃,选一个全站统一即可;真正要避免的是同一站点两套 feed 并行、内容重复、时间戳互相打架。发现声明也要配齐:页面头部用 link 标签声明 feed 地址,让爬虫与聚合系统能自动发现;feed 地址本身保持稳定——换地址不留重定向,等于把订阅方与抓取方一起弄丢。
全文输出还是摘要输出:一个真正的取舍
feed 配置里唯一需要拍板的实质问题是全文还是摘要。全文输出把正文完整交给抓取方,取用效率最高,代价是内容在站外多了一个完整镜像——对“内容被原样搬运”有顾虑的站点会犹豫。摘要输出只给导语,保护了站内完整度,代价是抓取方拿不到可摘录的正文,feed 的供给价值大打折扣。我们的口径:把 feed 当内容资产经营的站点选全文输出,把 feed 只当通知机制的站点选摘要输出即可;折中方案是正文前两三段加“阅读原文”链接——保住可摘录性的同时保留一部分到站动机。无论选哪种,摘要与全文的口径要写进发布规范固定下来,别随插件默认值漂移。
还有一个与内容形态相关的提示:feed 不只服务文字站点。播客与视频内容的标准分发机制同样是 feed——音视频平台与聚合系统靠它发现节目与更新,而 AI 引用音视频实际消费的是转写文本层。所以音视频站的 feed 纪律是双份的:feed 元数据(标题、简介、章节)写成可摘录的形态,转写文本在落地页可达——这两件事都做实,音视频内容才在文本层进入了机器可读的世界。
与 sitemap、IndexNow、llms.txt 的分工
新链路里容易混的四个通道,各自角色一句话说清。
| 通道 | 本质 | 消费方现势 |
|---|---|---|
| sitemap | 全量地址清单,被动等取 | 搜索侧标配;AI 侧各家消费不一,见sitemap 档案 |
| RSS/Atom feed | 增量内容与全文,按时间轴 | 长期被阅读器与聚合系统消费;对 AI 侧是静态全文的补充通道 |
| IndexNow | 变更事件主动推送 | 仅 Bing 系等参与引擎认,Google 缺席,见IndexNow 协议档案 |
| llms.txt | 给模型的站点导读 | 实测被取用率极低,见llms.txt 采用度数据卡与llms.txt 规范档案 |
四者的关系不是互替而是互补:sitemap 管“我有什么”,feed 管“我最近发了什么、全文在此”,IndexNow 管“刚变了,请尽快来”,llms.txt 管“怎么理解这个站”。预算有限的站点优先保前两个——它们有多年成熟的消费生态兜底,后两个是增量优化。顺带定一个预期:这四条通道没有一条是“AI 引用开关”,它们的共同作用是让站点在机器面前可见、可懂、可取用,被引用与否仍取决于内容本身的可摘录质量。
两条纪律与常见的坑
纪律一,地址与标识终身稳定。条目的唯一标识和链接字段发布后不再改动,改地址必须留重定向;feed 里这条纪律比页面更刚性,因为聚合系统对旧条目的重访没有浏览器用户那种“随手容忍”。
纪律二,XML 合法性是底线。正文里的特殊字符要正确转义或包进CDATA 区,一处非法字符可以让整份 feed 对解析方失效——失效的 feed 没有任何报错给站方,属于“静默坏掉”的典型,把 feed 地址加进例行监控比信任它不坏更可靠。监控动作很轻:定时拉一次 feed、跑一次 XML 解析、报异常即告警,三行配置的事。
常见坑还有三个。发布时间手滑写成未来时间或忘了时区,会让条目在按时间排序的系统里长期错位;feed 缓存过期时间设得过长,“变更哨兵”的职责就名存实亡,缓存周期要按发布频率定;只有摘要 feed 的站点把全文同步问题误判为“AI 不收录我的新内容”——先确认 feed 里有没有全文,再怀疑爬虫。站点改版是第四类坑的来源:换 CMS 或主题时 feed 地址、条目标识的生成规则跟着变了,老条目在新 feed 里换了一副地址面孔——这类断裂不查聚合系统与日志根本看不见,改版验收清单里应把“feed 地址与条目标识不变”列为一项。
机器可读性的整体框架见机器可读性术语卡,feed 只是这张连续谱上的一格:比裸页面规整,比结构化数据朴素。它不会带来引用加成,但它以近乎零成本把站点的“最新内容与全文”摆上了机器的餐桌——在新链路里,这是被看见的地板而不是天花板。
引用来源
- RSS 2.0 规范(RSS Advisory Board)
- Atom 联合格式标准(RFC 4287)