【OPENAI】LifeSciBench：真实科研评测基准

OpenAI 发布 LifeSciBench——一个由行业博士级专家撰写与审阅、面向真实生命科学研究任务的基准，旨在评估 AI 在复杂科研工作流中的实用性与决策能力。该基准包含 750 个任务、1,062 份辅助材料与详尽评分量表，覆盖证据处理、分析、设计优化、推理、验证与转化等七大类工作流。

概述
– 名称：LifeSciBench
– 目标：评估 AI 系统在真实生命科学研究情境中的支持能力，而非仅答题或结构化预测。
– 贡献者与规模：173 位具有生物技术/药物研发经验的博士级科学家撰写任务；453 位专家参与评审；750 个任务，1,062 份附件。

任务设计与工作流
– 七类工作流：证据处理、分析、设计与优化、科学推理、验证与操作、转化与科学传播。
– 任务格式：模拟科学家给协作者的请求，包含提示、上下文/附件以及开放式回答。
– 复杂性：79% 的任务要求多步推理，平均每题约 4 步；53% 的任务需解释或综合至少一份附件（图表、PDF、序列或结构文件等）。

数据构建与质量控制
– 专家驱动：每题由行业实践科学家编写，可反复修订；平均经过 6 次自动化自审循环并至少 2 次专家审阅。
– 共识与可判定性：评审以可验证答案或专家高度一致为锚（领域内审阅者同意率至少 90%）。

评分体系
– 精细量表：共有 19,020 条评分标准，平均每题约 25 条准则，评估科学正确性与研究可用性（包括结论、计算、决策、论证与关键局限的提示）。
– 评价关注点：不仅考察最终结论是否正确，还评估模型在达到结论时的科学合理性和操作可用性。

用途与意义
– 适用对象：用于衡量大型语言模型与代理式 AI 在药物发现与生命科学研究支持中的实用性和风险识别能力。
– 弥补空白：相较以往窄领域或结构化题型的基准，LifeSciBench 更贴近研究流程与决策场景，能暴露模型在不确定性处理、证据整合与可操作建议方面的能力缺陷。

示例（节选）
– 评估示例涵盖临床方案证据压力测试：要求模型逐项指出监管或审稿者可能质疑的证据缺口，并建议补救数据或设计变更以弥补不足。

限制与注意事项
– 依赖专家共识与设定的评分标准，基准结果仍受任务设定与评分细化程度影响。
– 不等同于替代专家判断：目标是评估与改进 AI 在科研流程中作为辅助工具的可靠性，而非直接取代专业决策者。

这是一个更贴近真实研发流程的基准，有助于揭示模型在证据整合与决策支持上的实际能力与短板。

原文链接