Perplexity 抓取争议：单方指控、双方口径与没有终局的事实

2024 年 6 月，Wired 联合独立研究员发布调查，称其服务器日志显示 AI 答案引擎 Perplexity 的爬虫在已被 robots.txt 明确屏蔽的站点上继续抓取，甚至疑似规避防火墙；Perplexity 首席执行官公开否认，称公司“没有无视机器人排除协议然后撒谎”，并把部分流量归因于第三方爬虫。此后一年多，事件从舆论战升级为法律行动。一句话结论：这是 AI 时代“抓取权”争议的标志性案例——指控与否认至今没有权威终局认定，本站记录双方口径而非裁决是非，但争议暴露的结构性问题（协议靠自觉、验证靠日志、后果靠诉讼）对所有内容方都成立。

事件时间线：从调查报道到法律行动

2024 年 6 月，Wired 发布调查报道，声称与独立研究员共同核查服务器日志后认定：尽管 Wired 及其所属集团在 robots.txt 中明确禁止 Perplexity 爬虫，相关抓取仍在发生；报道同时质疑 Perplexity 对 IP 与浏览器标识的使用方式。Perplexity 首席执行官 Aravind Srinivas 随即否认，其口径是：公司没有无视机器人排除协议（Robots Exclusion Protocol）再撒谎，部分被归到 Perplexity 名下的访问实际来自第三方爬虫。

升级动作在此后数月逐级出现。2024 年 8 月，Wired 报道亚马逊方面就抓取相关指控对 Perplexity 展开核查。2024 年 10 月，纽约时报向 Perplexity 发出停止侵权函，要求其停止未经授权使用时报内容；同月 21 日，道琼斯（Dow Jones）与纽约邮报在纽约联邦法院起诉 Perplexity，指控其大规模非法复制内容，并主张 Perplexity 生成了归属失实的内容——把编造的报道安在真实媒体头上。诉讼此后进入司法程序，本卡撰写时点未见终局判决的公开记录。

后续还有一笔与本案同源的生态冲突：2025 年 8 月，Cloudflare 公开指认 Perplexity 以轮换用户代理、跨网络轮换 IP 的方式在被屏蔽站点继续抓取，并将其从已验证爬虫名单中移除（此为站内留档口径，见Cloudflare 爬虫研究报告）——争议由此从“个别出版商 versus 一家引擎”扩展到“基础设施层 versus 引擎”。

双方口径：指控了什么、回应了什么

指控方的核心主张可以拆成三层。事实层：服务器日志显示被屏蔽站点的抓取持续发生。规范层：robots.txt 是全网通行的抓取意愿表达，明确排除的爬虫不应进入，绕行 IP 或 UA 更不可接受。商业层：答案引擎未经授权取材并以此构建产品，构成对内容资产的无偿占用，应当诉诸法律与商业谈判解决。

被指控方的回应同样有三层。事实层：否认公司无视机器人排除协议，主张部分被归因的流量来自第三方爬虫，不属 Perplexity 自己的基础设施。规范层：对 robots.txt 的适用范围提出更窄的解释——它约束的是抓取行为本身，而基于已公开网页向用户提供的答案服务处于协议未明确覆盖的地带（该解释立场在本轮争议中由 Perplexity 公开表达）。商业层：主张与出版商建立合作与授权关系是正途，公司同时在推进 Publisher Program 等合作机制。

本站的立场是记录而不裁决：双方的事实主张需要服务器日志、网络取证与司法程序才能验证，公开舆论场上的截图与反截图不构成终局证据。但有一层结构判断是确定的——这组冲突的根源不在于某一方说谎与否，而在于 robots.txt 的技术属性：它是一份自愿遵守的协议，不是强制的访问控制，遵守与否最终靠对端自觉，验证与否靠站长自己的日志能力。RFC 9309 把这套协议写成了标准，但标准同样只约束愿意遵守的一方，法源地位的讨论另有站内政策卡展开。

机制拆解：协议的执行缝隙与验证的攻防

robots.txt 的执行缝隙是这场争议的机制核心。协议的设计逻辑是“声明意愿、对端自觉”：站点在文件里声明哪些爬虫可以抓哪些路径，合规爬虫读取后自行遵守。它没有认证环节——一个不披露真实身份的抓取者不会被 robots.txt 拦住，因为文件对它而言形同虚设。指控方描述的“轮换 UA、轮换 IP”，正是利用了这个缝隙：伪装成普通访问者，站点既无法用 robots.txt 表达排斥（对方根本不读），也无法凭访问特征轻易识别。

验证侧的攻防因此成为站长的真实功课。识别“谁在抓我”有三层递进手段：用户代理字符串只是自我申报，可伪造；反向 DNS 验证可以确认 IP 是否真属于其宣称的爬虫运营商（方法见反向 DNS 验证术语卡）；日志分析则能从行为模式（频率、路径、并发特征）里识别隐瞒身份的抓取者。这场争议之后，“仅凭对方 UA 恭敬就认定合规”的假设在实践里已经站不住，密码学级的爬虫身份验证方案也在推进中。

诉讼线补上了第三层机制：当协议与验证都失效时，内容方把争议交给法院与合同。停止侵权函、版权诉讼、授权谈判是这个层级的工具。需要如实说明的是：robots.txt 违反本身在各法域的法律后果并不统一，“无视 robots.txt 是否违法”至今缺少权威判例一锤定音——出版商诉讼更多援引版权与不正当竞争框架，而非协议本身。这条缝隙正是争议能持续多年的原因。

对本站用户的含义：把抓取当作商务问题管理

对内容方，这个案例的实操含义可以压成四条。其一，robots.txt 决策是商务决策而非技术开关：放行还是屏蔽一家答案引擎，要基于它的引流回报与内容授权预期来定，而不是默认全放或全禁（放行策略的全景见AI 爬虫术语卡与平台抓取条款政策卡）。其二，决策要有数据支撑：日志管线是前提，看不清谁在抓，就谈不上谈判与屏蔽——日志基建的搭建方法见日志分析术语卡。其三，身份验证要升级：对高价值站点，把反向 DNS 与行为分析纳入常规巡检，不依赖单一信号。其四，被侵权的路径要预设：证据留存（日志存档、时间戳）决定日后谈判与诉讼的筹码，发现异常时先取证再行动。

还要补一条预期管理：本案显示，即便是体量庞大的出版集团，也只能靠持久战争取抓取秩序——单站长更现实的目标是“看清、留证、按自家利益决策”，而非指望行业规则迅速完备。抓取与回流之间的巨大落差（取多予少）是站内单独立卡留档的口径，把它当商务谈判的底数之一。

置信度标注与适用边界

分档交代如下。高置信：调查报道的存在与发布时间、Perplexity 的公开否认及回应内容、纽约时报函件与道琼斯/纽约邮报诉讼的发生（多家一线媒体报道）、Cloudflare 2025 年 8 月的指认与除名（站内留档口径）。存疑待证：指控方对“规避 robots.txt 与防火墙”的认定基于其日志解读，被指控方不认可；双方事实层面的分歧本卡不做裁断，引用时请注明“据 Wired 调查”与“据 Perplexity 回应”各自的出处。适用边界：本案细节均为美国市场与特定当事方，法律结论不可外推；本卡撰写时点未见终局判决的公开记录，后续司法进展请以权威渠道为准——这也是案例卡标注撰写时点的意义所在。