Ai2的研究发现，大语言模型在判断科研想法新颖性时对提示词和评测设置高度敏感；同一组想法仅因提示措辞变化就能导致判定大幅翻转，提示了用单一模型分数评估原创性的风险。研究公开基准、数据与代码，建议用多种设置和专家验证来提高新颖性评估的稳健性。
一项由艾伦人工智能研究所（Ai2）发布的研究发现，大语言模型（LLM）判断科研想法是否新颖，可能对提示词等评测设置十分敏感：对同一组想法，仅调整提示词措辞，就可能让模型的判断发生明显变化。研究团队因此提醒，自动生成研究想法的系统，不能只凭一个“新颖性评审器”的分数证明其成果具有原创性。
这项名为《Old Ideas, Novel Problems: The Instability of LLM-Based Novelty Evaluation》的研究于2026年10月27日由Ai2在官方博客发布，同时公开了基准、数据和代码。论文已于10月1日提交至arXiv；这两个日期分别对应论文首次提交和博客发布，并非同一天发生的新闻事件。论文摘要与提交记录显示，研究系统比较了六种LLM评审器在不同评测设置下的表现。
评测“新颖”，不能简单等同于论文被接收
研究团队指出，评估一个想法是否新颖，不能直接把论文是否被会议接收当作替代指标。论文可能因其他方面表现良好而被接收，却没有明显原创贡献；被拒论文也可能包含新颖想法，只是存在其他缺陷。
为建立比较基准，团队利用ICLR 2026的同行评审意见，筛选出审稿人明确讨论原创性的案例。高新颖度组包括154个由人提出的研究想法：论文在所属研究领域的评分位于前10%，审稿人肯定其新颖性且无人提出相反意见。低新颖度组则包括145个想法，来自领域评分处于后10%的拒稿论文，审稿人指出原创性问题，且无人肯定其新颖性。
研究还设置了“人类+生成”评测组：将上述154个人类研究想法，分别与一个简单LLM生成器产出的154个想法配对。团队将生成想法视为较弱的新颖性样本，但明确说明这只是弱标签，并不代表每个生成想法都经过逐一核实。生成器只获得研究领域和提出新想法的指令，没有文献检索、工具、反复迭代或反馈。
这类基准设计也有边界：它使用极端案例和同行评审意见作为新颖性的证据，并非对所有学科、所有研究构想或真实研究流程的普遍裁定。研究团队另请专家审查了30组“人类+生成”配对；专家在这30组中都更倾向于人类提出的想法，但这个规模仍不能替代更广泛的独立验证。
同一批想法，提示词一变，判断可能翻转
团队测试了GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5和Claude Opus 4.6六种评审器，并改变提示词、推理预算、是否提供相关论文、想法的呈现格式，以及汇总多次判断的方式等因素。
在一个“人类+生成”配对实验中，GPT-5.4面对同一批想法时，若提示词告知“每对中有一个想法已被审稿人认定为新颖”，并要求模型选出该想法，准确率为93.5%。换成较简单的“哪个想法新颖？”后，准确率降至40.9%，低于随机猜测水平；超过一半配对的判断发生变化。这是特定数据集、模型和提示设置下的实验结果，并不意味着所有模型在所有任务中都会出现同等幅度的变化。
在人类研究想法之间进行比较时，同一提示词变化对准确率的影响较小，但并非没有影响：研究报告称，人类想法评测组的准确率变化约为7个百分点；Claude Opus 4.6在该组的变化为21个百分点。研究也没有找到适用于所有模型的“最佳提示词”：某种写法可能提高一个评审器的表现，却降低另一个的表现。
研究团队还比较了来自不同生成器的想法。对提示词进行调整后，六种评审器的判断平均约有四分之一到三分之一发生变化。这里的重点不只是模型是否答对，而是同一批想法会因评测设计不同而得到不一致结果，进而影响人们对不同自动构思系统的比较。
更多检索和推理不保证更可靠
研究并未发现增加检索或推理预算能够稳定提升新颖性判断。在一组实验中，使用高推理预算并在arXiv上迭代检索的评审器，宏平均F1为0.78；作为对照，Claude Opus 4.6的标准检索设置为0.89。研究团队估算，前者每次判断的成本约为后者的10倍。宏平均F1综合衡量模型识别新颖与非新颖样本的表现，数值越高通常表示该项分类表现越好。
团队还比较了通用提示基线与两个专门设计的新颖性评估系统。在“人类+生成”数据上，Claude Opus 4.6使用低推理预算、对三次调用进行多数表决，宏平均F1为0.854，总评估成本为2.59美元。Idea Novelty Checker的分数为0.642、成本为30.66美元；Sakana AI的AI Scientist新颖性评估器得分为0.772、成本为82.05美元。以上数字来自该研究所报告的特定实验和成本口径，不宜直接外推为其他数据集上的性能或当前普遍价格。
这些对比并不证明简单提示在所有情况下都优于专业系统。它们表明，在这组评测中，更复杂的工具链没有自动带来更准确的结果；模型、数据、提示词和评估指标都可能左右结论。
自动科研需要更可靠的“新颖性”检验
Ai2的研究提出一个实际问题：如果自动化系统生成的想法，仍由另一个对提示词高度敏感的模型来评判，那么“模型得分高”是否足以说明成果真正新颖？至少在这项研究覆盖的设置中，答案并不稳固。研究团队主张，应使用与系统实际用途相符的数据，检验模型对提示词和评测方案变化的敏感度，并持续更新基准。
研究的范围也需要谨慎对待。论文使用ICLR 2026评审意见构建数据，并比较特定模型和评估器；它并未证明LLM无法协助科研，也没有裁定自动生成的研究想法普遍缺乏原创性。更有把握的结论是：当新颖性判断依赖LLM时，评测结果可能受设计选择影响，因而需要报告这些选择，并通过多种设置检验结论是否稳健。
这项工作及其配套数据为研究自动科研评估提供了一个起点，但“新颖”本身仍需要结合领域知识、既有文献和专家判断来审视。把单一模型分数当成原创性的最终证明，现阶段风险仍然明显。