Hugging Face 与 Liva AI 合作将埃及口音英语和尼日利亚口音英语的私有自然对话测试分片加入 Open ASR Leaderboard,以便在私有数据标签页中对不同口音进行更细粒度比较。此次更新扩展评测覆盖与展示方式,但数据为私有分片,公告未披露说话者细节,也未提供可比较的前后成绩。
Hugging Face 于2026年11月6日在官方博客宣布,与数据公司 Liva AI 合作,为 Open ASR Leaderboard(开放自动语音识别排行榜)加入埃及口音英语和尼日利亚口音英语的私有测试数据,并在私有数据标签页中扩展口音分组比较。
这不是新增阿拉伯语或尼日利亚本土语言,也不是发布一款新的语音模型。更新的核心,是让英语语音识别系统接受更多不同口音、自然对话场景的检验,帮助使用者判断:一个模型的平均成绩,是否足以代表它面对不同人群时的表现。
根据这份由 Hugging Face 与 Liva AI 人员署名的公告,新增内容属于评测覆盖范围和展示方式的变化。公告没有给出可用于证明模型准确率因此提高的前后对照结果,也不能据此判定哪款模型在两种新增口音上领先。
两套自然对话测试,测的是英语口音
此次加入的两个测试分片分别是 Liva AI Conversational EG 和 Liva AI Conversational NG,音频时长为1.34小时和1.55小时。两者均标注为自然、自发对话,参考转写保留标点、大小写以及口语中的不流畅现象。
与照稿朗读相比,自发对话会包含更多临时组织语言、重复和表达中断。把这些语音纳入测试,意味着评测对象不只是清晰、规整的句子,也包括更接近日常交流的表达方式。不过,保留这些特征并不等于公告已经证明数据覆盖了所有真实使用条件。
两套数据均为私有测试分片,而非供公众直接下载、自行运行的开放语料。“开放排行榜”与“全部测试数据开放”在这里是两回事:排行榜可以公开模型比较结果和评测工作流,同时保留部分测试材料,降低开发者针对已知题目优化的机会。
公告列出了时长、口音、语音风格和转写方式,但没有在这份数据表中披露说话者人数、地区分布或录音设备构成。因此,不能仅凭“埃及”和“尼日利亚”两个标签,就把这些样本视为对两国所有英语使用者的完整代表。
为何要把英语成绩进一步拆开
新增口音也带来了新的汇总视角。Hugging Face 表示,私有数据标签页将报告两组比较:一组是美国口音与非美国口音,后者包含英国、澳大利亚、加拿大、印度、尼日利亚和埃及;另一组借用语言学家卡奇鲁的英语“三圈”框架,把美国、英国、澳大利亚、加拿大归入“内圈”,将印度、尼日利亚和埃及放入合并的“外圈与扩展圈”。
公告将这一分组思路归功于 Hume AI 的排行榜,并表示,随着更多口音加入,未来会进一步拆分外圈和扩展圈。目前两者仍是合并展示,不能写成已经分别提供独立比较。
这些分类不是对口音优劣或英语能力高低的排序,而是用于观察模型表现差异的分组工具。同样是“非美国英语”,英国与尼日利亚的语言环境并不相同;把它们汇总后得到的分数,也不应取代对具体使用场景的判断。
对准备部署客服转写、会议记录或语音助手的团队而言,这种拆分的实际意义在于:选型不能只问哪个模型平均错误最少,还要问测试语音是否接近自己的用户。总体成绩相近的系统,面对不同口音和说话方式时,未必同样稳定。
私有测试能降低刷榜风险,但不是保证
这次更新延续了排行榜此前引入保留测试集的路线。在2026年5月6日介绍私有评测机制的文章中,Hugging Face 宣布引入 Appen 和 DataoceanAI 提供的11个测试分片,覆盖朗读与自然对话,以及多种英语口音。
团队当时解释,公开测试集有利于复现和社区检查,但也可能被用于针对榜单的优化:分数上升,并不一定意味着模型在真实场景中的稳健性同步提高。保留部分未公开测试材料,正是为了减少这类风险。
该文还说明,模型开发者先提交公开数据上的结果,由维护团队核验,再由团队运行私有数据评测。这与开发者自行报告一个未经核验的分数不同。
不过,私有并不意味着完全消除了数据偏差。Hugging Face 在5月的说明中承认,即使模型没有接触过完全相同的测试音频,来自同一供应商、分布相似的训练数据仍可能带来优势。引入多个供应商,是其尝试平衡这一影响的办法,而不是对测试污染已经被彻底排除的证明。
对于平均分的口径,也需要区分历史规则与此次更新。5月文章称,当时默认的 Average WER(平均词错误率)只计算公开数据,用户可以选择纳入私有数据;11月这份公告主要介绍新增分片与分组,并未重新完整说明所有总榜计算规则。因此,不能把本次扩充直接等同于默认总排名已经发生某种变化。
从印度语言评测延伸,而非重复发布
在此次合作之前,Hugging Face 已于2026年8月28日与 Voice Arena 公布印度英语和印地语的 Monsoon 评测数据。那次更新同时包含公开与私有分片,并通过说话者背景信息和针对印地语书写变体的评分方法,尝试揭示平均分掩盖的差异。此前关于印度英语与印地语评测的报道介绍了这一路线的背景。
本次则由 Liva AI 提供新的埃及、尼日利亚英语对话分片,扩展的是另一组口音和数据来源。两次更新方向相近,但合作方、测试对象和具体内容不同,不能把8月的语言扩展当作11月才发生的新进展,也不能把此前 Monsoon 的说话者规模与元数据字段套用于此次 Liva 数据。
Liva AI 在其Hugging Face 机构介绍中称,公司通过人们自然互动的消费应用收集数据,研究重点包括语音等多模态交互。这有助于理解它为何提供自发对话材料,但这是供应商对自身数据来源的说明,不是独立质量认证。
此次扩充的价值,首先是增加了过去较少被单独观察的测试条件,而不是宣布语音识别的口音问题已经解决。是否能改善实际产品,仍取决于模型在相关数据上的表现,以及部署团队能否用自身用户、设备和声学环境中的测试加以验证。排行榜覆盖得更广,是更有针对性地测量问题的起点,而非最终答案。