IBM Research 的 ALTK-Evolve 方法通过从智能体自身执行轨迹中提炼可执行规则，将这些规则追加到系统提示中，从而在 τ²-bench 客户服务基准上显著提升普通模型（如 GPT-4.1/GPT-5.5）的任务可靠性，而无需更新模型权重。该方法在零售和航空场景中展示了规则规模和支持度对准确率与稳定性的不同影响，同时也带来了更长提示词和更高提示成本的权衡。
IBM Research在Hugging Face发布的一篇文章显示，一个使用GPT-4.1的基础ReAct客户服务智能体，在加入由自身历史轨迹提炼出的行为准则后，在τ²-bench零售任务上达到67.5%的Pass^4，通过率高于该团队截至2026年10月12日所引用的其他零售榜单条目。这个结果的重点不在于GPT-4.1突然变成了推理模型，而在于智能体可以把过去的成功与失败压缩成一套可重复使用的“工作手册”，在推理时附加到系统提示中。
这套方法名为ALTK-Evolve。它不对模型进行微调，也不需要人工逐条标注经验，而是让同一个模型分析训练任务中的执行轨迹，归纳出诸如“在修改订单前先完成身份认证”“执行退款前要明确确认变更内容”等短规则，再把这些规则用于后续对话。
关键变化发生在模型周围，而不是模型内部
传统的模型能力提升通常意味着更新权重、增加训练数据，或者更换更强的基础模型。ALTK-Evolve采取了另一条路线：模型本身保持不变，变化的是它每次行动时能够看到的指导信息。
在IBM Research披露的实验中，研究人员使用τ²-bench自带的ReAct脚手架，采用两阶段的“思考—行动”循环。智能体模型为GPT-4.1，模拟客户使用GPT-5.5，每项任务运行四次。除了在系统提示中追加学习到的指导语之外，政策文件、工具和智能体框架均保持不变。
研究团队比较了两种指导规模。第一种是只保留至少被三项训练任务支持的高置信度规则：零售领域有31条，航空领域有14条；第二种是保留所有通过整合的规则，零售领域有292条，航空领域有101条。
在零售测试集的40项任务中，没有指导语的GPT-4.1基线平均准确率为78.1%，Pass^4为57.5%。加入全部规则后，平均准确率升至82.5%，Pass^4升至67.5%。换言之，严格的四次全通过指标提高了10个百分点。航空测试集的结果也显示平均准确率从57.5%升至65.0%，但可靠性表现并非规则越多越好：14条高支持度规则的Pass^4为45%，高于101条完整规则的40%。
这说明“记忆”不是越多越好。规则数量需要根据模型和任务领域调整。零售任务中，完整规则集带来更明显的提升；航空任务中，更紧凑的规则集反而更可靠。
τ²-bench测量的是能否把业务系统带到正确状态
τ²-bench并不是单纯的问答测试。它为智能体提供客户服务政策、模拟客户和一组业务工具，任务可能包括查询订单、退款、改签航班或修改订单。智能体必须先理解客户意图，再遵循政策调用工具，最终让数据库状态与预期结果一致。
这也是该基准与一般聊天评测的差别：一个听起来合理的回答并不足以得分。错误的工具调用、遗漏身份验证，或者在未经确认的情况下执行不可逆操作，都可能导致任务失败。τ²-bench的原始论文将这一类评测描述为同时考察工具调用、用户交互和领域规则遵循，并使用Pass^k衡量多次运行中的可靠性。其τ²-bench项目目前包含零售、航空、电信等文本客户服务领域，并强调最终业务状态而不是表面语言质量。
在这种环境中，学习到的规则更像一个操作手册，而不是普通意义上的聊天记忆。它提醒模型在一类相似任务中先做什么、哪些动作需要用户确认，以及遇到工具失败时怎样处理。
得分提升的代价主要是提示词变长
IBM Research的数据显示，增加指导语并没有让对话变得更冗长。在双方都成功完成的相同任务集合中，零售任务使用完整规则后，平均助手轮次从10.59降至10.16；航空任务则从9.15降至8.82。研究团队因此认为，性能提升并不是靠更多轮对话换来的。
成本主要出现在输入提示词。零售任务中，每次对话的平均成本由基线的0.084美元升至0.139美元，增加约65%；航空任务中，完整规则的成本由0.081美元升至0.107美元，增加约32%。由于规则集在同一对话的多次调用之间保持不变，研究团队指出，生产系统可以借助提示词缓存降低这部分开销。
这为企业智能体带来了一种不同于“换更大模型”的成本—性能选择：企业可以保留一个相对普通的基础模型，通过更长但更稳定的操作规范来减少错误。不过，这一方案并不意味着提示词工程可以替代模型能力。规则仍然需要由模型正确理解，过多或相互冲突的规则也可能增加上下文负担。
更强的模型同样可以从学习到的规则中获益
研究团队还使用GPT-5.5同时担任航空智能体和规则提取模型。航空测试集的结果显示，无指导语时平均准确率为72.5%，Pass^4为55.0%；加入完整规则后，准确率升至82.5%，Pass^4升至70.0%。
这意味着规则学习并不只是弥补较弱模型的缺陷。即使基础模型已经更强，只要任务仍存在特定的失败模式，围绕模型积累的行为准则仍可能提高可靠性。研究团队也指出，在GPT-5.5的这组实验里，支持度最高的规则只达到2，因此高支持度配置改用了sup2，而不是GPT-4.1实验中的sup3。
不过，榜单比较需要注意评测口径。IBM发布的零售67.5%和GPT-5.5航空82.0%是基于τ²-bench的base split，其中包括用于学习规则的训练任务。GitHub上的零售榜单提交披露，该提交使用了修改后的提示词，状态预期为“未验证”；其零售实验覆盖114项任务、每项四次试验。IBM团队公开的实验追踪页面还显示，零售40项未见任务的Pass^4为67.5%，与base split的67.54%接近；GPT-5.5航空20项未见任务的Pass^4则为70%，低于包含训练任务的82%。
因此，“登上榜首”准确描述了特定榜单快照和提交口径下的结果，但不能直接等同于在完全独立、未经修改的标准评测中全面击败所有前沿模型。更稳妥的结论是：在一个政策约束、工具调用和最终状态都很重要的客户服务基准中，自动提炼的规则能够显著提高智能体的重复成功率；与此同时，训练集与测试集的划分、提示词是否修改以及榜单是否标记为已验证，都会影响横向比较。
从“记住经历”转向“提炼可执行规则”
ALTK-Evolve的研究价值，可能在于它重新定义了智能体记忆的用途。它没有把过去的对话原样塞回上下文，而是从轨迹中提取更短、更抽象的行为准则。这些准则可以跨多个相似任务复用，也可以根据领域调整剂量。
IBM Research此前关于ALTK-Evolve的研究已经在多步应用任务中比较过完整规则集和按任务检索规则的做法；此次客户服务实验则把问题放到了更严格的业务场景里。对于客户服务、支付、订单和航空改签等任务，智能体的价值不只是“回答得像不像人”，而是能否在权限边界内稳定完成正确操作，并留下可检查的系统状态。
这条路线仍有明显限制。当前结果主要来自模拟客户、受控工具和公开基准，不能直接证明同样幅度的提升会出现在真实企业系统中。规则也可能过度适配某一领域的政策和任务分布；如果业务流程发生变化，旧规则需要重新提炼和审核。更重要的是，客户服务中的错误往往涉及退款、取消和账户变更，任何自动学习机制都需要配合权限控制、人工升级和操作审计。
但在模型权重更新昂贵、企业数据不能轻易用于训练的情况下，ALTK-Evolve提供了一个相对轻量的实验方向：让智能体从自己的执行结果中学习如何行动，再用可验证的业务结果检查这些“记忆”是否真的有用。未来的竞争，可能不只在于谁拥有更强的基础模型，也在于谁能更有效地把模型的失败转化为下一次行动时可执行、可审计的规则。
Hugging Face上的ALTK-Evolve原文发表于2026年10月20日；研究团队同时提供了ALTK-Evolve代码库以及τ²-bench的航空榜单提交。
在更广泛的企业智能体训练研究中，AI Flux此前报道的ServiceNow AutoSynthData方法则采取了另一种思路：从智能体失败的执行轨迹中生成并验证新的训练任务，而不是只把规则追加到提示词中。两者共同指向同一个问题——如何把智能体在受控环境中的失败，转化为下一轮更可靠的行动能力。