OpenAI于2026年10月30日承诺支持通过robots.txt中的统一训练偏好信号，便于网站一次性对多家AI服务表达是否允许将内容用于基础生成式模型训练，但该承诺是未来实施计划并非已生效规则。草案仍在IETF讨论中，现有robots.txt抓取控制继续有效，具体实施细节与其他公司采纳情况将决定最终效果。
OpenAI于2026年10月30日宣布，将支持网站通过robots.txt中的共同信号，表达是否愿意让内容用于基础生成式AI模型训练。其目标是让网站运营者不必逐一识别不同公司的爬虫、为每家服务商重复维护规则，而能向多个参与方表达同一选择。
不过，这不是已经上线的统一退出机制。OpenAI公告明确表示，目标是在未来数月实施，届时再公布具体细节；现有robots.txt爬虫控制将继续适用，新信号不会取代它们。这次变化首先是一项未来实施承诺，而非整个行业已经共同执行的新规则。
从识别每个爬虫，转向声明内容用途
robots.txt是网站向自动化爬虫表达访问规则的常用文件。传统配置通常围绕爬虫身份展开：允许某个机器人访问，或限制它访问特定路径。AI带来的问题则更细——网站可能愿意被搜索引擎发现，却不愿内容进入模型训练流程。
OpenAI支持的提案试图增加一个跨服务商识别的用途信号。其链接的《机器可读训练偏好信号》草案使用__usage_ai-training这一策略标识，放在robots.txt的User-Agent行中，再沿用Allow、Disallow及路径匹配规则表达偏好。
草案给出的例子是：网站可以对全站表达反对训练的偏好，同时将新闻资料包所在的/press-kit/目录设为例外。这里的标识代表用途，不要求它就是某个实际发出网络请求的爬虫名称；提案也不引入新的指令名称或整体语法。
一个重要细节是，草案要求明确写出这一策略标识，不能把面向所有爬虫的通配分组直接解释为训练偏好。没有该标识，意味着没有通过这套机制表达偏好，并不等于网站已经明确同意训练。
表达“不用于训练”，不等于阻止访问
提案把内容使用偏好与抓取规则视为两个相互独立的维度。某家公司的爬虫仍须按自身名称读取适用的访问规则；共同训练信号本身不是控制抓取行为的指令。服务商可以据此决定不再抓取仅供训练用途的页面，但网站若要限制访问，仍需配置相应的爬虫规则。
因此，“页面可以被访问”与“内容可以用于训练”不是同一个判断。反过来，表达反对训练，也不意味着网站已经在网络层阻断了所有自动化访问。
这种区分并非首次出现。OpenAI现有爬虫文档已经分别列出面向搜索的OAI-SearchBot和面向基础生成式模型训练的GPTBot，并说明网站可以允许前者、限制后者。此次承诺的新增之处，是未来识别一个可由多个参与方共同理解的训练偏好信号，而不是首次提供搜索与训练分开的控制。
用户主动触发的访问还属于另一种情况。该文档说明，ChatGPT-User用于部分由用户发起的网页访问，并非自动化网络爬虫，robots.txt规则可能不适用。不能据此把新的训练信号扩大解释为对搜索、用户访问、摘要生成等所有AI用途的统一开关。
仍是标准讨论中的草案
OpenAI表示，这项自愿倡议借鉴了互联网工程任务组（IETF）AI Preferences工作组的持续工作，并呼吁其他AI提供方遵守共同信号。
但参与标准讨论不等于标准已经通过。IETF文档状态页将这份文件列为个人提交的活跃Internet-Draft，并明确提示，它尚未获得IETF背书，在标准程序中没有正式地位。当前文本是2026年10月30日更新的00版，由署名机构为Anthropic的Kevin Kelley提交。
这一区别直接影响如何理解其约束力。草案描述的是拟议的机器可读表达方式，并不能证明每一家AI公司已经部署相同解析逻辑。文档致谢中出现某家公司或机构的参与者，也不等于该机构已经作出执行承诺。
此外，草案允许服务商说明，将其专有策略标识视为比共同标识更具体的规则；私人协议也可能覆盖通过这一机制表达的偏好。这意味着，即使共同信号得到采用，具体效果仍须结合服务商实现方式和已有协议判断。
更简单的声明，尚不是完整的执行保障
网站内容控制正在从“是否放行机器人”，转向区分搜索、训练和用户代理等不同用途。AIFlux此前对Cloudflare“禁止AI训练”设置的报道介绍了同一方向的另一种实践：通过平台设置表达偏好，并结合网络层控制管理爬虫访问。那是此前的平台控制方案，不是此次OpenAI承诺已经落地的证据。
共同信号能够降低重复配置的负担，但声明、识别、遵守和验证仍是不同环节。OpenAI此次公告没有提供可供网站核查其内容实际训练使用情况的审计机制，也没有宣称会因新增信号而删除既有训练数据，或让已经训练的模型“忘记”相关内容。
对于网站运营者，当前最明确的信息是：已有爬虫控制仍然有效，不应因为未来的共同信号而被视为过时。接下来真正决定这项倡议价值的，是OpenAI公布的实施细节、其他服务商的具体承诺，以及不同规则和协议之间如何处理优先关系。
10月30日的公告让“一次表达、多个参与方识别”多了一家重要公司的支持，但距离可互操作、可验证的普遍执行机制，仍有实施与标准讨论需要完成。