Ai2（艾伦人工智能研究所）发布 StateBench，将长上下文状态追踪拆成四个难度层级，区分检索最新记录与持续更新计算的能力。实验显示前沿闭源模型在简单任务上表现良好，但在自引用与一般有限状态任务随输入增长准确率显著下降；特定架构与专项训练能改善长序列泛化，但仍有局限。
能在长文档里找到一条信息，不代表能跟上这条信息后来的每一次变化。艾伦人工智能研究所（Ai2）推出的 StateBench，正是要把这两种能力分开衡量。
Ai2 在2026 年 11 月 3 日发布的介绍中称，这套基准将长上下文状态追踪分成四个难度层级。团队测试发现，前沿模型在较简单的信息读取和覆盖更新任务上表现较好，但当答案依赖一连串累积操作或变量之间的传递时，输入越长，准确率下降越明显。在最长的一般有限状态任务上，受测前沿模型的准确率降至 13%或更低。
这个数字来自研究团队的特定合成任务，并不意味着这些模型处理所有长文档时都只有这一准确率。研究更值得关注的地方，是它试图解释：模型究竟是在“找到答案”，还是在正确维护一个不断变化的世界。
相关论文《A Fine-Grained Hierarchy and Benchmark for State Tracking in Language Models》已于 2026 年 11 月 2 日提交 arXiv，早于博客介绍。作者包括 Jackson Petty、William Merrill 和 Ashish Sabharwal；论文、博客与配套项目共同构成了这次研究的主要公开材料，实验结果尚不能视为独立第三方复测。
从找最新记录，到逐步更新状态
状态追踪并不只是记住一段文字。阅读代码时，一个变量可能反复被赋值；阅读小说时，一件物品可能多次转手。若只问“谁出生在哪一天”，检索最初的记录就足够；若问“一连串交换后，物品最终在谁手中”，模型就必须正确处理其中的依赖关系。
StateBench 用四个层级区分这些问题。
最简单的 R-trivial 层级对应不可变赋值：变量一旦取得某个值便不再改变，模型只需找回它最初的值。Aperiodic（非周期）层级允许覆盖赋值，例如先设定 x = 4，后来再设定 x = 2，最终答案取决于最新一次设置。
Soluble 层级加入自引用更新，例如 x = x + 5。在基准的具体实现中，这类增量运算会按给定模数回绕，模型需要根据变量已有的值继续计算，而不能只检索最后一条赋值。这里的 soluble 是代数分类名称，不是在说其他层级“不可解”。
最难的一般有限状态层级则允许跨变量取值和交换，例如把 y 当前的值赋给 x。一次更新可能取决于更早的其他更新，形成长依赖链。博客以五只杯子下藏球、不断交换位置为例：要知道球最后在哪只杯子下，不能只看最后一次交换。
这些层级并非按题目表面长度随意划分，而是建立在有限幺半群及 Krohn–Rhodes 分解的理论框架之上。对普通读者而言，关键区别是：答案需要一次检索、寻找最新覆盖值，还是必须沿着历史操作连续计算。
为减少比较中的干扰，研究者先生成一条较难的赋值轨迹，再从同一轨迹派生三个更简单的版本，使四类问题的变量数量、不同取值数量和赋值位置保持对应关系。这样，难度差异主要来自更新操作本身，而不是某组题恰好更长或包含更多变量。
前沿模型与开放预训练模型暴露了不同短板
团队测试的四个前沿模型为 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 GPT-6 Luna。在这组实验中，模型需要生成所有变量的最终值，而不是从预设选项中挑选答案。
据 Ai2 报告，四者在 R-trivial 和非周期任务上表现较好，但在自引用更新和一般有限状态任务上，随着输入增长，准确率显著下降。研究者提出的一种解释是“敏感性”：在较难的任务里，更多中间步骤都有可能改变最终答案，漏掉一次更新便可能使结果出错。不过，这只是对这些实验现象的解释，不能据此断言所有真实应用都会出现相同程度的退化。
另一组实验考察了开放预训练模型，包括约 70 亿参数的 Transformer 模型 Olmo 3、引入 Gated DeltaNet 层的 Olmo Hybrid，以及更小规模的模型。这些模型使用相同的预训练数据，训练中接触的上下文最长为 64,000 个 token，部分测试则超过了这一长度。
这组模型总体上在最简单的任务表现较好，在非周期任务上随输入变长而退化，在一般有限状态任务上则处于随机猜测水平。它们还表现出明显的格式偏好：某些 2.75 亿参数的混合架构及 Gated DeltaNet 模型，面对 RULER 风格的简单题目时接近满分，但把相同底层问题改写成电子表格编辑后，表现却接近随机。
这说明，基准分数不仅受状态更新难度影响，也受题目呈现方式影响。同一种推理结构，换成不同文本形式，未必就能得到相同结果。因此，“支持多长上下文”不足以单独说明模型能在这段上下文中稳定完成什么计算。
直接训练后，架构差异才更清楚
预训练模型做不好某项任务，可能是架构限制，也可能是训练没有教会它。为区分两者，团队另行从零训练了六个约 2.75 亿参数的模型，涵盖两种 Transformer、两种混合架构，以及两种记忆更新约束不同的 Gated DeltaNet。
这些模型在最多 256 次赋值的序列上训练，再接受最长 64,000 次赋值的测试。这里衡量的是“赋值次数”，不是 token 数，不能与前沿模型实验中的输入长度直接混用。
在 R-trivial、非周期和自引用更新任务上，Gated DeltaNet 与混合模型能够将接近完美的表现扩展到研究测试的最长序列。Transformer 学会了较容易的层级，但在更长序列上出现退化；在一般有限状态任务上，受测 Transformer 即使面对训练分布内的题目，也未能充分学会。
不过，循环架构也没有解决所有问题。在最难层级上，允许更灵活记忆更新、包含正负特征值的 Gated DeltaNet 变体，能将接近完美的表现扩展到约为最长训练序列十倍的长度，而不是在所有 64,000 次赋值任务上都保持完美。
因此，不能把“测试长度最高达到训练长度的 250 倍”改写成“所有难度都实现了 250 倍泛化”，也不能把专项训练后的能力当作现有预训练产品已经拥有的能力。
论文对架构表达能力的分析还依赖数值精度、注意力形式和计算复杂性假设。它为解释实验差异提供了理论线索，却不是对所有 Transformer 系统、推理流程或工具辅助方案的无条件否定。
对实际应用有何启示，又有哪些边界
StateBench 最直接的价值，是把“长上下文能力”拆成更可检查的问题。查找文档中的固定事实、识别最新一次设置，以及计算多轮更新后的最终状态，需要的能力并不相同。模型在第一类任务上成功，不能自动证明它能处理后两类任务。
这与 AIFlux 此前报道的微软 ThinkingBox 终态评测形成了一个有用的对照：ThinkingBox 检查智能体是否把企业系统真正改到了正确状态，StateBench 则测试模型能否从输入序列中正确推导状态。两者不是同一套评测，也不能互相替代，但都提醒开发者，不应把流畅回答当作结果正确的充分证据。
研究的局限同样明确。StateBench 是合成基准，当前假设变量数量固定；真实对话中却可能不断出现新人物、新物品和新关系。团队尚未把这种持续引入新实体的情况纳入框架，也没有确定这些代数层级在自然文本中各有多普遍、在多大程度上决定实际应用里的架构差距。
此外，非负特征值 Gated DeltaNet 在整个层级中的精确位置仍是开放问题。研究发现，它在允许舍入的特定固定精度运算模型下可以处理某些周期性任务，但这并不等于它已经被证明能够处理全部自引用更新问题。
目前，StateBench 的公开代码仓库提供任务生成与多种文本呈现方式，配套数据集页面也已开放。对模型开发者而言，这提供了比单一长文检索测试更细的诊断工具；对使用者而言，它提出的判断标准更朴素：模型不仅要看见过去的信息，还要正确理解信息后来怎样改变。