【HUGGINGFACE】在模型页展示统一评测结果

Hugging Face 已实现 Every Eval Ever (EEE) 与 Community Evals 的互通，允许将结构化评测记录同时链接到模型页面与基准榜单，从而把完整可复现的评测元数据与可见的模型分数关联起来，提高评测可比性与透明度。转换器会把 EEE 的 JSON 转为 Hugging Face 期望的 YAML、校验哈希并在提交前审计冲突，当前支持 MMLU-Pro、GPQA、HLE 与 GSM8K 等基准。

背景
– 评测结果散落在论文、榜单和日志中，格式各异导致难以比较与复现。
– EEE（Every Eval Ever）定义了统一 JSON schema，记录谁跑的、哪个模型、访问方式、生成设置、度量含义以及（可选）逐样本输出。

这次整合做了什么
– Hugging Face Community Evals 与 EEE 互通：可以将 EEE 记录转为 Hub 上的 .eval_results/*.yaml，分数会显示在模型卡和基准榜单。
– 转换器会把 EEE 字段映射为 Hugging Face 的必需字段并附上指向完整 EEE JSON 的来源链接（source badge）。

关键功能
– 自动下载并校验 EEE 集合及其引用对象哈希。
– 与模型仓库现有 .eval_results/ 文件比对，按数据集和任务识别：already_present、score_conflict、missing_hf_model、ready 等状态。
– 生成本地 YAML 预览与审查报告，只有在用户确认后才打开 PR。
– 当前支持基准：MMLU-Pro、GPQA、HLE、GSM8K。

影响与意义
– 将可视化的模型分数与可解释的、可复现的评测元数据连接，提升模型选择与政策审查的信任度。
– 截至目前，Hugging Face 数据库收录约 229,000 条评测结果，覆盖 22,000+ 模型与 2,200+ 基准，来自 31 种格式。

如何参与
– 将 EEE 记录发送到 Hugging Face 或使用转换器生成 YAML 并通过组织账号提交，以获得官方验证标记。
– 查阅 GitHub 仓库获取转换器、示例和贡献指南。

把结构化评测与模型可见性连起来是提升可复现性和信任的重要一步，但关键还在于长期维护与审计流程的执行力。

原文链接