Collinear AI 于 Hugging Face 发布 CWE-bench v2，提供 100 项面向可执行验证器的安全修复任务，覆盖 91 类弱点并保留未公开测试集。数据集强调在阻断攻击的同时保留原有功能，且任务、验证器与质量审查供外部检验，但下载受限需登录并接受使用条件。
Collinear AI 团队于2026年11月3日在 Hugging Face 发布 CWE-bench v2 更新，开放一套包含100项任务、覆盖91类软件安全弱点的公开评测集。它考察的不是模型能否写出看似合理的安全建议，而是智能体能否在代码库中找到并修复问题，同时保持原有功能正常运行。根据发布文章，团队还保留了未公开测试集，用于继续评估模型对未见任务的处理能力。
这次更新的重点不仅是榜单成绩，更是把任务环境、验证方式和质量审查标准交给外部研究者检验。不过，“公开评测集”不等于无需条件即可下载：数据集页面明确要求使用者登录并接受访问条件，之后才能获取受限文件。
修补漏洞，还不能破坏正常功能
按照数据集说明，每项任务都给智能体提供一个包含一处安全弱点的代码库，要求它自行定位并修改。验证器会在修改后的代码上运行漏洞利用输入和正常使用案例：只有所有被检查的攻击输入都被阻断、所有正常案例仍能工作，才给予1分；任何一项检查失败则为0分。如果环境构建失败等问题导致无法评估，该次试验作废，而不是记作修复失败。
这种设计把“堵住攻击”和“维持功能”放在同一验收条件中。仅让危险输入失效还不够，如果补丁同时破坏了正常使用流程，也不能通过。需要注意，这里的成功是通过指定验证器的成功，并不意味着代码已经获得全面安全认证。
数据集覆盖 Go、Java、JavaScript、C++、C、Python、Rust 和 TypeScript 八种语言，任务数量并不均衡，其中 Go 最多。收录的弱点涉及注入、越界读取、身份验证、权限检查、敏感信息泄露及提示注入等问题。
这里的91类 CWE 也不应被理解为91个具体漏洞编号。CWE 项目的官方说明将其定义为由社区维护的软件和硬件常见弱点清单，描述的是可能导致漏洞的缺陷类型。因此，覆盖多种 CWE 意味着测试涉及不同弱点类型，而不是证明模型已掌握每一类问题的所有变体。
如何避免“背补丁”通过测试
Collinear AI 在发布文章中列出了逐项质量检查标准：任务说明是否接近真实工作委托，所有计分行为是否能够从说明中推知，验证器是否检查正确行为而非强制某一种补丁结构，以及初始代码是否失败、参考修复是否通过。团队还检查修复后的原有功能是否保留，以及验证器能否识别仅记忆已知上游补丁的解法。
团队称，每项任务也都经过人工审核，并借助大模型评审小组改进程序化检查的难度与公平性。这里需要区分两层工作：大模型参与了测试设计和审查，但最终给补丁计分的是可执行验证器，而不是模型对答案作出的主观评价。这些质量保证仍属于发布方的说明，不能等同于外部独立审计结论。
Harbor 官方文档将其描述为可在沙箱中运行智能体、模型和任务的框架。CWE-bench 的任务采用这一格式，把容器化环境、任务说明和验证器组合在一起。数据集同时提供参考修复用于校验任务包，但明确规定，参考修复不能暴露给受评测智能体，否则测试就失去了意义。
领先成绩说明了什么，又没有说明什么
发布方公布的排行榜数据标注更新日期为2026年11月3日，涵盖11个模型，每个模型对100项任务各运行四次，共400次试验。Gemini 4 Argon 的 pass@1 为67.75%，pass@4 为81.0%；Claude Opus 5.5 分别为67.25%和78.0%。原文将两者的 pass@1 四舍五入为67.8%和67.3%。
这里的 pass@1 不是只取每道题的第一次运行，而是按该榜单定义，计算400次运行的平均奖励；pass@4 则是四次尝试中至少成功一次的任务占比。Gemini 的81.0%意味着仍有19%的任务在四次尝试中均未通过，不能据此说它能稳定修复81%的实际生产漏洞。发布文章还称，至少有一个模型解决了其中95项任务；这是多个模型合起来的任务覆盖情况，不是某一个系统的成绩。
榜单也并非在完全相同的智能体执行框架下比较模型。Gemini 4 Argon 使用 Antigravity SDK，Claude Opus 5.5 使用 Claude Code，GPT-6 Astra 使用 Codex，另外一些模型使用 OpenCode。因而，成绩反映的是模型与对应执行框架的联合表现，不能把差异全部归因于基础模型本身。
成本同样需要保留口径。榜单列出的平均单次运行成本中，DeepSeek V4.1 Flash（1017）为0.04美元、pass@1 为57.0%；Claude Opus 5.5 为1.83美元，Gemini 4 Argon 为3.92美元。排行榜的方法说明指出，部分模型采用执行框架记录的成本，其他模型则按运行轨迹中的令牌数量与2026年11月3日的 OpenRouter 标价计算，并考虑缓存输入折扣。这些数字并非完全相同的实付账单口径，也不是在企业中完成一次漏洞修复的总成本。
从引用分数，到检查评测本身
CWE-bench 此前已出现在模型厂商的能力介绍中。例如，本站关于Gemini 3.8 Flash 与 Flash Cyber 的报道引用过谷歌披露的 CWE-Bench 修复成绩。本次 v2 更新的新增价值在于公开任务集及其检查机制，而不是再次发布某款安全模型。旧报道中的分数也不能在没有核对任务版本和运行设置的情况下，直接与这次公开集的成绩比较。
公开任务让外部研究者有机会检查：说明是否充分、验证器是否偏向某种实现，以及补丁究竟满足了哪些条件。但可复现的程序化计分与模型每次都能稳定成功并不是一回事；公开样本上的表现，也不能自动代表未公开任务或真实代码库中的可靠性。
Collinear AI 表示，同一套环境和验证器还可以用于防御型智能体训练，并通过保留测试集继续追踪未见任务上的进展。对于采用这些成绩作技术选型的团队，关键仍是把任务版本、模型、执行框架、尝试次数和成本口径一起看待。上述结果来自发布方公布的评测，本报道未下载受限任务文件，也未独立运行基准；它们提供的是可继续检验的证据起点，而不是让补丁绕过审查直接进入生产环境的保证。