OpenAI：剖析编码评测中的噪声

OpenAI 对广泛使用的编码基准 SWE‑Bench Pro 进行了审计，发现约 30% 任务存在设计或污染问题，包括过于严格或低覆盖的测试、提示信息不足或误导等，可能导致评测结果误导模型能力判断。团队提出了基于自动化过滤、代理审查与人工标注相结合的数据质检流程，并建议开发者谨慎解读该基准结果。

背景
– 准确评估模型能力对部署与安全决策至关重要。OpenAI 曾指出 SWE‑bench Verified 存在问题，并推荐社区转向 SWE‑Bench Pro。

审计方法
– 自动质检管道先筛查可疑任务（286 个）；随后对被标记子集进行两条并行审查：
– 人工监督代理审查：基于 Codex 的“调查代理”可运行测试、检查仓库上下文与模型失败轨迹，多次独立审查后由研究者定论。
– 人工标注活动：由经验丰富的软件工程师组成的团队，每个任务由 5 名审阅者评估，给出标签与严重性。

主要发现
– 估计约 30% 任务有问题：自动管道标记 27.4%（200/731），人工标注认定 34.1%（249/731）。
– 四类主要故障模式：
– 过于严格的测试：要求实现细节但提示未明确说明，导致正确实现被判错。
– 提示信息不足：关键要求缺失或不可合理推断。
– 低覆盖测试：未充分检测功能，片面修复即可通过。
– 误导性提示：提示与隐藏测试要求相互矛盾或引导错误行为。

示例
– OpenLibrary-77c16d5：提示示例给出行首一个空格，但隐藏测试期望两个空格，导致符号级差异让合理实现失败。

结论与建议
– 构建既难又公平的编码基准极具挑战。OpenAI 强调使用代理和人工结合的可扩展质检流程以发现问题，并建议模型开发者在使用 SWE‑Bench Pro 的结果时保持谨慎，针对存在的任务问题进行审查或剔除。

此审计强调了公开基准的脆弱性，模型进步报告需与数据质量同步把关。

原文链接