Benchmark

OpenAI：剖析编码评测中的噪声

OpenAI 对广泛使用的编码基准 SWE‑Bench Pro 进行了审计，发现约 30% 任务存在设计或污染问题，包括过于严格或低覆盖的测试、提示信息不足或误导等，可能导致评测结果误导模型能力判断。团队提出了基于自动化过滤、代理审查与人工标注相结合的数据质检流程，并建议开发者谨慎解读该基准结果。

【IBM】ScarfBench：企业Java迁移基准

ScarfBench 是一个针对企业级 Java 框架迁移的开源基准，评估 AI 迁移代理是否能构建、部署并保持应用行为。测试覆盖 Spring、Jakarta EE 与 Quarkus，结果显示即便能编译，代理在实际部署与行为保真上仍普遍失败。

【OPENAI】GeneBench-Pro：生物计算研究基准

OpenAI 推出 GeneBench-Pro——一个面向计算生物学的研究级基准，旨在评估模型在模糊、需反复判断情境下的分析能力。该基准包含 129 道合成问题，覆盖基因组学、定量生物学与转化医学等多领域，强调迭代决策与可验证的因果数据生成。