Coding Evaluation

OpenAI：剖析编码评测中的噪声

OpenAI 对广泛使用的编码基准 SWE‑Bench Pro 进行了审计，发现约 30% 任务存在设计或污染问题，包括过于严格或低覆盖的测试、提示信息不足或误导等，可能导致评测结果误导模型能力判断。团队提出了基于自动化过滤、代理审查与人工标注相结合的数据质检流程，并建议开发者谨慎解读该基准结果。