模型与研究 · 深度报道

IBM推出Granite Speech 5.0:从多语种转写到说话人归属,语音模型开始分工落地

IBM 在 Hugging Face 发布 Granite Speech 5.0 系列,包含 2B 多语种模型、面向高吞吐的 470M TurboCTC 模型与提升说话人归属的 4.1-2B-plus,强调按场景拆分语音能力以便企业部署和组合使用。

AIFluxNews AIFlux 编辑2026 年 10 月 21 日阅读约 5 分钟
IBM推出Granite Speech 5.0:从多语种转写到说话人归属,语音模型开始分工落地

IBM 在 Hugging Face 发布 Granite Speech 5.0 系列,包含 2B 多语种模型、面向高吞吐的 470M TurboCTC 模型与提升说话人归属的 4.1-2B-plus,强调按场景拆分语音能力以便企业部署和组合使用。

IBM Granite团队在Hugging Face发布Granite Speech 5.0系列更新,新增2B参数的多语种语音语言模型,并同步升级一款面向高吞吐量转写的470M参数模型,以及一款面向会议和电话录音的说话人归属模型。

这次发布的重点并不是用一个更大的模型覆盖所有语音任务,而是把企业语音工作拆成三个相对清晰的场景:需要转写、翻译和关键词控制时使用granite-speech-5.0-2b;需要低延迟或端侧批量转写时使用granite-speech-5.0-470m-turboctc;需要知道“谁在什么时候说了什么”时,则使用升级后的granite-speech-4.1-2b-plus。

2B模型把转写、翻译和关键词控制放在一起

根据IBM Granite团队在Hugging Face发布的公告,granite-speech-5.0-2b是granite-speech-4.1-2b的后继版本,参数规模保持在20亿左右。它支持英语、法语、德语、西班牙语、葡萄牙语和日语的语音转写,并支持这些语言与英语之间的语音翻译,同时支持英语到意大利语和普通话的翻译。

IBM称,该模型使用约39万小时的公开音频训练,另有针对日语自动语音识别、关键词偏置和语音翻译的合成数据。相较上一代,5.0版本的改动集中在几个容易影响企业实际使用的环节:更好地处理噪声、混响和远距离麦克风语音;允许用户在提示中指定输入语言;改善长音频和对话式翻译;并把多语种关键词列表上限提高到2000个词。

关键词偏置对企业语音系统尤其重要。产品名、人名、缩写、药品名和技术术语往往不是普通语料中出现频率最高的词,但它们可能决定一份客服记录、会议纪要或质检报告是否可用。模型卡显示,5.0版本也支持按提示要求输出标点和大小写,其测试集上的大小写F1介于89.7和99.5之间。

模型以Apache 2.0许可证发布,并支持Transformers、vLLM、llama.cpp以及面向Apple Silicon的mlx-audio。根据Granite Speech 5.0 2B模型卡,模型卡标注的发布日为2026年10月20日,而Hugging Face公告页面显示为10月21日。这更像是模型权重和文章发布节奏不同,但两者日期仍应分开记录。

IBM公告还称,granite-speech-5.0-2b在公开英语短音频测试集的平均词错误率为5.06%,在当时的开放权重ASR模型比较中排名第二。该结果被标注为截至10月15日的非正式结果,并不是一项独立机构认证,因此更适合被理解为发布方提供的阶段性比较。

TurboCTC把重点放在吞吐量和边缘部署

同一批更新中的granite-speech-5.0-470m-turboctc,定位与2B模型不同。它保留约4.7亿参数的紧凑规模,采用Conformer编码器和CTC路线,目标是以较低资源完成高速语音转写。此前的TurboCTC主要面向英语,这次更新后增加了英语、日语、西班牙语、德语、法语、意大利语和葡萄牙语支持,同时加入原生标点、大小写处理,并加强对混响和远场录音的适应能力。

IBM称,通过编译并复用Conformer模块的计算图,TurboCTC在Open ASR Leaderboard上的速度达到19,870 RTFx,相比最初发布时约12,600 RTFx的结果提高约1.6倍。RTFx表示相对于实时速度的处理倍数,数值越高代表单位时间能处理的音频越多。但这个数字来自特定排行榜和硬件配置,不能直接等同于普通笔记本上的单条音频延迟。

此前AIFlux对Granite Speech 5.0 TurboCTC的报道已经指出,这类速度测试更能说明模型适合高并发、离线转录流水线,而不能简单代表所有设备和所有批大小下的体验。新的模型卡则显示,TurboCTC的架构由16个Conformer模块组成,使用CTC训练目标和非自回归贪心解码,适合部署在笔记本、手机及其他边缘设备上。

这是一种明确的功能取舍:编码器加CTC路线减少了逐个生成文本的计算开销,却不等于具备完整的语音理解、复杂翻译或多轮对话能力。在企业系统中,它更可能作为第一道处理模块,把大量录音稳定地转换成文本,再交给其他模型完成摘要、分类、检索或质检。

升级版4.1模型试图解决“谁在说话”

第三个更新是granite-speech-4.1-2b-plus。它面向会议、客服通话、采访等多说话人长录音,重点不是进一步增加语言覆盖,而是改善说话人归属、时间戳、关键词偏置和长音频表现。

IBM公布的测试结果显示,升级后模型的说话人归属错误率(WDER)和带说话人转写错误率(cpWER)整体下降约7%;平均时间偏移从210.86降至98.54,长音频测试集词错误率从13.53降至10.22,使用20词关键词列表时的偏置词错误率从11.79降至6.48。所有这些指标都是错误率,数值越低越好。

4.1 2B Plus模型卡还说明,该版本可以通过提示词输出说话人标签和词级时间信息。它保留原有架构、提示格式和API,因此IBM将其定位为当前版本的直接替换模型,而不是需要重新设计应用接口的新产品。

这一方向与IBM近期把语音能力纳入组合式企业模型的尝试相互呼应。AIFlux此前在Granite Switch 4.1的报道中提到,语音转写、语言模型处理和安全筛查可以组成一条模块化链路。Granite Speech 5.0的更新则把这条链路中的语音环节进一步拆细:高准确率模型负责复杂转写和翻译,轻量编码器负责速度,Plus版本负责会议记录中的结构化信息。

企业落地仍取决于真实环境评测

从发布内容看,Granite Speech 5.0的价值主要在于“可选择的专用组件”,而不是一个可以包办所有任务的语音大模型。企业可以按照成本、语言、延迟和数据处理要求,在不同模型之间组合出自己的管线。这种方式也有助于把语音转写与后续的摘要、风险检测和业务自动化分开管理。

但排行榜数字仍然需要放回测试条件中理解。19,870 RTFx来自特定硬件和评测流程,5.06%的平均词错误率也主要反映公开英语短音频集合。会议室混响、远场麦克风、口音、多人交叠说话、专有名词和长录音,都会改变模型的实际表现。说话人归属错误还可能进一步影响会议纪要的责任归因或客服质检,因此不能只看总体转写准确率。

此外,模型卡中的训练数据、许可证和适用场景也需要分开核对。模型支持商业使用并不意味着所有围绕模型构建的数据、第三方组件或部署服务都自动拥有相同条件;而“在边缘运行”也不等于所有功能都能完全离线完成。对企业来说,下一步更重要的测试将是功耗、长音频稳定性、隐私边界、错误回溯和不同语言环境下的可重复表现。

Granite Speech 5.0所展示的,是开放语音模型从单一排行榜竞争走向任务分工的一种路径:把转写、翻译、关键词控制、吞吐量和说话人归属分别优化,再通过标准运行时和开源模型卡交给开发者组合。它是否能在真实部署中形成稳定的成本和性能优势,还需要更多独立评测,但这类更小、更专用的模型,可能比试图覆盖所有语音能力的单一模型更容易进入企业生产系统。

来源:

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。