Hugging Face 推出 Open TTS Leaderboard，为开源多语种 TTS 和语音克隆提供可扩展、可复现的自动化评测框架，结合 ASR、说话人相似度和流式延迟等指标以快速筛选候选模型，同时保留人工试听作为补充。排行榜支持多语种切换、语音克隆对比和 TTFA 流式延迟测量，并计划开源评测脚本以便社区复现与扩展。
Hugging Face 9月30日发布 Open TTS Leaderboard，试图为快速增长的开源文本转语音（TTS）模型提供一套更易扩展的评测框架。该排行榜同时关注可懂度、推理速度和声音身份保持，并加入多语种、语音克隆、人工试听和流式延迟等维度。
这一项目针对的是一个日益明显的矛盾：模型发布速度越来越快，但评测体系仍然分散。Hugging Face称，截至9月30日，其平台上已经有超过8,000个TTS模型；相比之下，依靠人工逐项比较的语音竞技场很难以同样速度覆盖新模型。
从人工偏好到可扩展指标
现有的 TTS Arena v2、Artificial Analysis 和 Voice Arena 等平台，通常让用户盲听两个模型的输出，再通过大量投票计算类似 Elo 的排名。这类方法能够反映自然度和听感等最终用户体验，但收集足够投票往往需要数周，而且模型必须先由运营方部署，开放权重模型因此更难进入评测范围。
Hugging Face在官方文章中援引的一个切面是：截至9月30日，Artificial Analysis列出的92个模型中只有16个是开放权重模型。官方将这一差异归因于部署成本、API接入便利性以及商业供应商更强的参评动机，同时也指出，长期投票还会受到评审者标准变化的影响。
Open TTS Leaderboard的做法，是先用自动化指标把评测周期压缩到数小时，再把人工偏好保留为不可替代的补充，而不是试图取代人类听感判断。
在核心指标上，排行榜目前考察三类表现：
- 可懂度：用 Qwen3 ASR 将生成语音转写，再计算词错误率（WER）或字符错误率（CER）；
- 速度：用批量离线推理的反实时因子（RTFx），以及流式场景的首段音频到达时间（TTFA）衡量生成速度；
- 说话人相似度：比较生成音频与参考语音的 WavLM 说话人嵌入余弦相似度（SIM）。
其中，WER和CER只是可懂度的代理指标，SIM也主要反映声音身份保持，并不能直接衡量自然度、表现力或听众偏好。Hugging Face明确表示，排行榜的自动化部分不能替代人工偏好排名，但可以帮助社区更快筛选值得进入人工试听的模型。
多语种评测不再只看英语平均分
排行榜默认以 Seed-TTS Eval 和 CV3-Eval 的英语测试集宏平均 WER排序。Seed-TTS Eval源自 Seed-TTS技术报告，而CV3-Eval则面向更接近真实世界的多语种零样本语音克隆场景，其相关资源已在 GitHub仓库公开。
用户可以切换语言，查看模型在中文、日语、韩语以及其他语言上的表现。由于中文、日语和韩语属于字符导向语言，这些语言主要报告CER；排行榜所称的“平均WER”则是不同语言分数的宏平均，而不是按音频数量加权的总体分数。
官方文章称，Kokoro-82M、Supertonic 3和Fish Audio S2 Pro在英语WER方面处于领先位置；在多语种表现上，OmniVoice、Fish Audio S2 Pro和CosyVoice 3则显示出较强竞争力。这些名次应被理解为当前测试集和指标组合下的结果，而不是对所有语言、场景和听感的统一结论。
排行榜还提供“Voice cloning”切换项。对于支持参考音频的模型，用户可以同时观察可懂度和SIM，从而看到同一模型在普通合成与语音克隆模式之间是否存在差异。Hugging Face特别提到，一些模型在提供参考音频后，平均WER反而有所改善，但这并不意味着语音克隆质量可以由单一分数概括。
这类“分数背后的条件”正成为语音评测的关键。此前，Hugging Face的开放 ASR 排行榜已开始把语言、地区、设备和说话人背景纳入分析，反映出语音模型总体平均分可能掩盖具体群体和使用环境中的差异。
TTFA把流式语音的等待时间摆到台面上
除了离线生成速度，Open TTS Leaderboard还单独设置Streaming标签页，按TTFA对模型排序。这个指标衡量用户发出请求后，需要等待多久才能拿到可以开始播放的第一段音频，因此与语音助手、客服和其他互动应用直接相关。
在流式模型中，TTFA对应首个音频片段到达的时间；在非流式模型中，则是整段话生成完成的时间，因为播放器无法更早开始播放。测试采用CV3-Eval的50条英语提示词，统一以单条请求运行，丢弃前3次预热结果，并报告其余运行的中位数。默认测试硬件是H200 GPU，同时也为一小部分模型提供CPU结果。
这种设计将“模型质量”和“系统等待感”放在同一张图上。对于批量内容生产，RTFx可能更重要；对于实时对话，首段音频是否快速抵达，往往比整段音频最终生成用了多少时间更能决定用户体验。
自动化评测仍然有边界
Open TTS Leaderboard的价值，在于为开放模型提供了一个更低成本、更可重复的比较入口。但它也留下了清晰的边界：ASR转写可以检验模型有没有说对，WavLM相似度可以估计是否保留了目标声音，却无法充分判断语气是否自然、情绪是否合适、停顿是否合理，或者听众是否真的更喜欢某个输出。
这与语音评测领域近期的另一条路线形成互补。比如，Hume的 Real World VoiceEQ 评测强调自然性、可靠性和理解力等更接近真实使用的维度。两者共同指向一个趋势：语音模型的竞争不再只是争夺一个“最高分”，而是要说明模型在哪种语言、硬件、延迟要求和互动场景下表现最好。
Hugging Face表示，未来将开放评测脚本，并通过GitHub Issues和Pull Requests收集社区建议。对于一个不断增加模型、语言和硬件条件的排行榜而言，开放脚本和固定测试流程同样重要：它们不仅方便开发者复现结果，也能让社区检查指标选择、数据覆盖和实现细节。
Open TTS Leaderboard目前更像是一层评测基础设施，而不是最终答案。它将人工偏好无法快速覆盖的部分交给自动指标，同时保留试听和投票入口。随着开放权重语音模型继续增加，真正值得关注的可能不是谁在榜首，而是排行榜能否持续回答三个更实际的问题：模型说得是否清楚、声音是否像目标说话人，以及用户究竟需要等待多久才能听到第一句话。
来源：