【OPENAI】GeneBench-Pro：生物计算研究基准

OpenAI 推出 GeneBench-Pro——一个面向计算生物学的研究级基准，旨在评估模型在模糊、需反复判断情境下的分析能力。该基准包含 129 道合成问题，覆盖基因组学、定量生物学与转化医学等多领域，强调迭代决策与可验证的因果数据生成。

核心目标

• 测试模型在真实科研场景中做出高级判断（“research taste”）的能力：识别数据能支持的问题、根据早期诊断调整估计量、以及在分析过程中修正方案。

设计与规模

• 包含 129 道问题，分布在 10 大领域和 21 个子领域（如统计遗传学、功能基因组学、临床变异解释、癌症基因组学等）。
• 每个问题提供“凌乱”的合成数据、简要实验背景和与下游决策相关的目标估计量，要求模型探索数据、选择合适方法并迭代实验以给出最终答案。

合成数据与验证策略

• 采用合成数据生成以避免基准设计常见失败：已知因果结构可调复杂度、确保合理主观选择仍能得到可接受数值结果，并能通过消融验证错误分析会失败。
• 对问题草稿进行信息泄露审计以排除非预期解法或捷径。

专家审阅与可用性

• 82 道问题由外部领域专家审阅（研究生、博士后、产业科学家与教授），评估问题现实性、答案可识别性及方法适配性，并据此改进题目。
• OpenAI 提供案例页面展示代表性问题，便于社区理解任务类型与难度。

意义与限制

• 旨在衡量模型在长流程、判断驱动的生物信息学任务中的系统性能力，而非仅测量记忆或固定流程执行。
• 成功通过 GeneBench-Pro 的模型可望在辅助科研工作流、加速分析与提升可重复性方面发挥更大作用。

这是一个面向研究级判断能力的严格基准，能更真实地衡量 AI 在生物计算科研中的可靠性。

原文链接