模型与研究 · 深度报道

Salesforce开放SOV-Transcribe-1语音识别权重:从听清句子,到保住关键实体

Salesforce以Apache 2.0许可证开放SOV-Transcribe-1语音识别模型权重,重点提升邮箱、电话号码等关键实体的保留能力,并支持指令控制转写格式与上下文词汇提示。模型可自行部署,但不提供流式转写,官方支持的七种语言不含中文,实际效果与框架兼容性仍需部署方验证。

AIFluxNews AIFlux 编辑2026 年 11 月 13 日阅读约 5 分钟

Salesforce以Apache 2.0许可证开放SOV-Transcribe-1语音识别模型权重,重点提升邮箱、电话号码等关键实体的保留能力,并支持指令控制转写格式与上下文词汇提示。模型可自行部署,但不提供流式转写,官方支持的七种语言不含中文,实际效果与框架兼容性仍需部署方验证。

Salesforce团队于2026年11月12日发布SOV-Transcribe-1,并以Apache 2.0许可证开放模型权重。这款面向非流式自动语音识别的模型,试图解决的不只是把声音转换成文字,还包括准确保留邮箱、电话号码等关键内容,以及按照用户要求输出逐字稿或整理后的文本。

根据发布公告,开发者可以把它用于听写、通话转录和语音应用,并在自己控制的基础设施上部署。不过,开放权重不等于一套完整的实时语音助手:模型本身不提供流式转写,官方列出的七种支持语言也不包括中文。

为什么一句话大致正确,还可能办错事

语音转写进入企业业务后,错误的后果并不均匀。一段通话中少了一个口头填充词,可能不影响理解;但邮箱里漏掉下划线、电话号码中换掉一位数字,就可能让后续查询、发送或记录操作指向错误对象。

Salesforce因此把关键实体识别作为此次发布的重点之一。公告引用VoiceCodeBench结果称,SOV-Transcribe-1在该测试中的任务成功率为76.3%,实体匹配指标CTEM为93.4%,在当时纳入的23个系统中,两项指标均排名第二。

这两个数字回答的是不同问题。VoiceCodeBench的方法说明将任务成功率定义为一段录音中所有目标实体均恢复正确的录音比例;CTEM则汇总实体层面的匹配情况。因此,93.4%不是整段录音完全正确的比例,76.3%也不是企业业务流程的端到端完成率。排行榜说明还指出,当前使用的是一套私有的300段录音评测集,其详细录音、参考答案和预测结果并未公开。

上述模型成绩来自Salesforce发布材料,本报道未独立运行模型复测,也未据此确认它在实际客户业务中的成功率。关键实体测试能提供比整体转写分数更具体的观察,但仍不能替代对企业自身音频、词汇和业务规则的验证。

转写格式可以控制,专业词汇可以提示

SOV-Transcribe-1默认进行逐字转写,也可以接收自然语言指令,调整数字、标点、大小写,以及是否保留填充词和重复表达。对于需要忠实保留口语的记录,与希望直接得到可读文字的听写应用,这意味着同一段语音可以对应不同的输出要求。

另一项能力是上下文词汇提示:开发者可以提供人名、公司名、产品名、专业词汇,或简短说明录音主题,帮助模型识别罕见或容易混淆的词。这不是把提示清单直接当成转写答案,而是为识别提供上下文。

Salesforce在公告中报告,在Contextual Earnings-22测试上,提供片段对应的关键词后,模型的关键词F1分数由71.9升至96.8;如果提供整场电话会议的关键词、其中多数并未出现在当前片段中,分数为94.0。F1综合反映关键词识别的精确率与召回率,不能直接改写为“转写准确率96.8%”。这些结果说明的是该测试条件下提示的作用,并不保证任何行业词表都能获得相同收益。

参数规模与语言覆盖,要看完整口径

官方模型卡显示,SOV-Transcribe-1由Whisper large-v3音频编码器、音频投影模块和Gemma 4 26B A4B混合专家模型组成。包含音频编码器在内,总参数为266亿,激活参数为46亿。

发布博客则以260亿总参数、40亿激活参数介绍模型。两处数字的统计范围并不相同,不能把博客中的简写与包含音频编码器的完整规模混为一谈。激活参数较少,也不意味着部署时只需为这些参数准备存储或显存。

目前列出的语言是英语、法语、德语、西班牙语、意大利语、葡萄牙语和荷兰语。对中文使用者而言,不能仅凭它具备多语言能力,就推断中文已获得官方支持。

口音表现也需要与语言覆盖分开理解。Salesforce报告,在覆盖14种英语口音的AppTek客服对话测试中,模型平均词错误率为8.21%;这一结果属于特定测试集,而不是对所有口音、录音设备或噪声条件的统一保证。此前本站关于语音识别评测扩展英语口音覆盖的报道,讨论的正是平均分可能掩盖不同使用人群之间差异的问题。

开放权重之后,部署仍有边界

公开的模型文件目录已经列出权重分片、配置、处理代码及vLLM插件。企业因此可以围绕自己的基础设施开展部署与适配,但数据控制权与合规结论仍是两回事:音频留存、访问权限和具体用途,仍需要部署方分别治理。

接入方式也尚未达到所有主流框架开箱即用的状态。模型卡说明,vLLM与Hugging Face Transformers的上游原生支持仍在推进;现阶段,vLLM依赖仓库提供的插件,Transformers则使用仓库随附的模型实现。框架兼容性需要按这些具体条件判断,而不能仅凭列有框架名称就认定无需额外适配。

音频长度同样存在两个口径。模型卡称最长已测试输入为30分钟,但vLLM的转录端点默认每次接受最多600秒,也就是10分钟音频;接收30分钟需要调整相关配置。模型测试范围并不自动等于服务端点的默认限制,更不意味着可以无限延长录音。

此外,官方最佳实践承认,模型在少数情况下可能重复生成字符或短语,直到达到输出长度上限,并介绍了重复清理处理。对于长录音,团队还建议留足输出空间,必要时按语音边界切分,并检查输出是否截断或重复。这些工程环节也是转写质量的一部分。

此次发布的实际进展,是为企业提供了一款可自行部署、可通过指令调整转写形式的开放权重模型,而不是证明实时语音服务、中文识别或企业业务自动化已经一并解决。它是否适合具体用途,最终仍取决于关键实体能否可靠保留,以及部署团队能否在自己的数据、硬件和流程中验证这些能力。

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。