Kaggle 把 Benchmarks 的创建流程扩展到本地开发环境，开发者可通过 Kaggle CLI 与 kaggle-benchmarks SDK 在 VSCode、Cursor 等工具内编写、验证、推送与下载评测任务，并能借助 AI 编码代理（write-kaggle-benchmarks skill）以自然语言自动生成评测用例；此举旨在让社区更容易构建透明、可复现的模型能力基准并推动模型改进。
概览
- 背景：随着模型从对话扩展为会写代码、使用工具的推理代理，传统静态基准已不足以反映真实能力。Kaggle Benchmarks 旨在由社区构建更动态、真实的评测集合。
- 里程碑：Kaggle 已有超过 10,000 个社区创建的评测任务与公开排行榜。
本地开发支持要点
- 本地工作流：开发者现在可在本地环境（如 Antigravity、VSCode、Cursor）使用 Kaggle CLI 创建、验证、推送、运行和下载 Benchmarks 任务，无需仅依赖网页 Notebook 编辑器。
- SDK 与命令：新更新在 Kaggle CLI 中增加了专门用于 Benchmarks 的命令，配合 kaggle-benchmarks SDK 完成任务管理。
AI 编码代理自动生成评测
- write-kaggle-benchmarks skill：这是一个包含结构化指令的技能包，教会编码代理如何用 kaggle-benchmarks SDK 构建任务。
- 使用方式：在代理中安装该技能（https://github.com/Kaggle/kaggle-skills），然后用自然语言描述评测需求，代理会生成可运行的评测任务示例（例如：判断“300+140=460 是否正确？”）。
目标与影响
- 民主化评测：通过社区驱动的、易于创建的评测，Kaggle 希望为模型能力提供清晰、客观的信号，推动不同实验室改进模型。
- 真实世界覆盖：鼓励多样化、现实场景的评测以更好衡量模型在实际应用中的表现。
如何开始
- 试用路径：在本地安装 Kaggle CLI 与 kaggle-benchmarks SDK，或在编码代理中添加 write-kaggle-benchmarks 技能，按需描述并推送任务到 Kaggle Benchmarks。
参考链接
- Kaggle Benchmarks 与 write-kaggle-benchmarks skill 的代码/说明在 Kaggle 相关仓库与文档中提供。
让评测从网页回归到开发者日常工具链，有助于实用且可复现的基准快速积累，但社区质量管控仍是关键。