英国人工智能安全研究所（AISI）与 EvalEval Coalition 合作，通过 EvalEval 的 Every Eval Ever 和 Evaluation Cards 基础设施公开基准评测的元数据与配置，旨在提高模型评测结果的可复现性和可比性，强调除了分数外还需披露提示、推理参数与评测环境等实验协议信息。该合作已公布 AISI 在若干基准和网络安全评测中的记录，并配合论文探讨推理计算量如何影响前沿模型的评测表现，同时指出可复现不等于低成本重跑实验。
人工智能模型的基准分数正在成为研发、采购和安全治理中的重要证据，但英国人工智能安全研究所（AISI）与 EvalEval Coalition 的一项新合作提醒业界：如果缺少提示词、推理参数、评测环境和生成过程等信息，一个看似精确的分数，可能很难被复核，也未必能公平比较不同模型。
EvalEval Coalition 于 2026 年 9 月 22 日在 Hugging Face 社区博客宣布，AISI 正在使用 EvalEval 的基础设施，通过 Evaluation Cards 公开部分评测方法、结果和配置数据。双方希望把分散在论文、排行榜和产品发布材料中的评测记录，整理成更容易追溯和比较的结构。
Hugging Face：How UK AISI and EvalEval Are Making Benchmark Results Reproducible
从“一个分数”转向完整的评测记录
传统基准测试通常把结果压缩成一个平均分。这个数字便于传播，却可能隐藏几个关键变量：模型获得了多少推理令牌，是否可以多次提交答案，使用了什么提示模板，评测由哪套软件或推理引擎执行，以及评分器和数据集版本是什么。
EvalEval 的旗舰项目 Every Eval Ever（EEE）试图为这些信息建立共享模式。其记录不仅包括模型和基准名称，还包括评测库、推理平台、生成参数、数据来源、评分定义和详细结果等元数据。EvalEval 的公开说明称，这一模式的目标，是让研究人员能够理解“相似分数”是否其实来自明显不同的实验条件。
在此基础上，Evaluation Cards 提供一个面向读者的解释层，将基准元数据、评测运行数据和模型元数据组合成一条记录，并关注可复现性、资料完整性、来源追踪和分数可比性等维度。
EvalEval：Every Eval Ever ｜ Evaluation Cards
AISI 首批公开了哪些结果
此次合作公开的资料，覆盖 AISI 相关论文主要实验中的五个基准：HealthBench、FrontierMath、Humanity’s Last Exam、SWE-Bench Pro 和 Terminal-Bench 2.0。对应结果涉及六个前沿模型：Claude Opus 4、Claude Opus 4.5、Claude Opus 4.6、GPT-5、GPT-5.2 和 GPT-5.4。
发布内容还包括两个网络安全评测——Cyber CTFs 与 The Last Ones。它们使用了一组不同但部分重叠的模型，不能简单地与主要实验的五个基准视为同一批数据。
AISI 表示，相关结果在适当情况下将通过 Evaluation Cards 提供经过核验的结果、背景和配置资料。该机构同时强调，逐条记录模型的交互轨迹，不只是为了让他人重跑实验，也有助于分析模型在何处失败、为什么失败，以及某个分数是否受到测试流程影响。
AISI 论文：推理计算会改变基准表现
这批数据与 AISI 的论文《How Inference Compute Shapes Frontier LLM Evaluation》相配套。论文在统一框架下研究了推理时计算量如何影响模型在不同领域基准上的表现。
论文摘要显示，研究团队评估了最多 12 个前沿语言模型，覆盖软件工程、数学、医学和网络安全等领域。主要实验涉及五个具有挑战性的基准，研究还结合了两项网络安全评测。实验采用了几种相对简单的推理扩展方式，包括增加令牌预算、压缩上下文，以及允许模型重复提交答案；部分条件还提供了最低限度的正确性反馈。
研究结论并不是“计算量越大，模型就一定越强”，而是指出，不同基准对推理扩展方式的敏感程度并不相同。更大的令牌预算、外部反馈和并行尝试，在不同任务上的作用存在差异。论文因此主张，评测应报告能力随推理计算量变化的曲线，明确说明协议选择，并在匹配的计算预算下比较不同代际模型。
arXiv：How Inference Compute Shapes Frontier LLM Evaluation
为什么这项合作现在变得重要
随着模型从回答短问题转向编程、工具调用和多步骤任务，评测已经不再只是把题目交给模型、统计一次正确率。一个模型能否在更长的轨迹中找到解决方案，可能取决于它是否拥有足够的推理预算、是否能重新尝试，以及评测环境如何处理上下文和工具反馈。
这也意味着，排行榜上的两个分数如果没有实验条件作为背景，可能并不具备直接可比性。近期对基准方法的反思已经开始从其他方向展开。例如，AIFlux 对 BenchMIRT 的报道指出，同一个基准中的不同题目，可能同时反映安全行为、一般推理、阅读理解或任务执行能力；仅看平均分，未必能说明模型究竟测出了什么。BenchMIRT 对大型语言模型基准测试的分析
在这一背景下，EEE 和 Evaluation Cards 采取的是另一条互补路径：它们不试图用一个新分数取代旧排行榜，而是把分数背后的实验条件、来源和证据链公开出来。对研究人员而言，这有助于复核和开展元研究；对模型开发者而言，这意味着评测报告需要承担更高的披露责任；对模型使用者和政策制定者而言，则可以更清楚地区分模型能力、评测协议和基础设施之间的差异。
可复现不等于可以低成本重做一遍
这项合作仍然面临现实限制。前沿模型评测的成本可能很高，部分模型或数据集也不允许完全公开原始轨迹。Evaluation Cards 能够改善记录和解释，并不意味着所有实验都能由外部研究者以相同成本重新运行。
同时，AISI 公布的结果只代表特定模型、基准和测试协议下的观察。它们可以成为比较和解释的参考点，但不应被理解为脱离上下文的永久排名。模型版本、推理服务、提示模板和评分方法发生变化后，结果仍可能改变。
这也是双方合作的核心意义所在：让评测报告从一次性的数字，逐渐转变为可追踪的实验记录。对于一个快速变化、成本高昂且越来越依赖复杂工作流的模型生态来说，公开“模型得了多少分”只是起点；说明这个分数是如何产生的，可能才是评测科学走向可验证的关键一步。
来源： Hugging Face 原文、AISI 相关论文、Every Eval Ever、Evaluation Cards。