模型与研究 · 深度报道

英伟达推出 Nemotron 3.5 Transcribe:一套开放权重模型处理转录、说话人标注与翻译

英伟达发布开放权重语音模型 Nemotron 3.5 Transcribe,整合转写、说话人标注和翻译等能力,支持40种语言和最长一小时录音;模型权重已在 Hugging Face 发布并采用 OpenMDW-1.1 许可。英伟达提供微调工具与不同量化版本,但实际准确度与部署速度依赖硬件、优化与任务场景,开放权重不等于零成本部署。

AIFluxNews AIFlux 编辑2026 年 10 月 29 日阅读约 5 分钟
英伟达推出 Nemotron 3.5 Transcribe:一套开放权重模型处理转录、说话人标注与翻译

英伟达发布开放权重语音模型 Nemotron 3.5 Transcribe,整合转写、说话人标注和翻译等能力,支持40种语言和最长一小时录音;模型权重已在 Hugging Face 发布并采用 OpenMDW-1.1 许可。英伟达提供微调工具与不同量化版本,但实际准确度与部署速度依赖硬件、优化与任务场景,开放权重不等于零成本部署。

英伟达于2026年10月28日发布 Nemotron 3.5 Transcribe。这款开放权重语音模型面向录音转写,将说话人归属、语音翻译和音频问答等能力整合进同一模型;据英伟达介绍,它支持40种语言和最长一小时的录音,并可按自然语言指令改变转写格式。[1][2]

这不是一则“今天发布”的消息:英伟达研究页面标注的发布日期是10月28日。模型权重已在 Hugging Face 提供;模型卡列出 BF16、FP8 和 NVFP4 等版本,采用 OpenMDW-1.1 许可。英伟达也提供 NeMo Speech 微调工具。[1][2][3]

从识别语音到按用途整理文本

常规语音识别通常输出一种固定风格的文本;Nemotron 3.5 Transcribe 则试图让使用者通过提示词决定结果如何呈现。例如,同一段会议录音可以要求逐字转录、整理成书面表达、区分说话人,或翻译成英语。模型还支持语言识别、带上下文的转录、词级时间戳,以及针对录音内容提问。[1][3]

模型架构结合 Transformer 语音编码器、说话人分离组件和 Nemotron 3.5 Lightning 语言模型。模型卡列出的总参数约为340亿,约43亿参数处于激活状态;上下文长度为65,536个 token。英伟达称,模型可按需生成带说话人归属的词级时间戳,并支持最长一小时的音频。[1][3]

这类组合的实际价值,不只在于把语音变成文字。会议记录可能需要标明是谁提出决定,访谈整理可能要保留原话,而专业场景则可能需要正确处理领域词汇。英伟达称,开发者可在提示中提供预期实体或格式要求,也可使用 NeMo Speech 对模型进行微调;该公司公布的医疗场景案例称,微调后在留出说话人上的词错误率相较最佳提示降低45.8%。这项结果来自厂商发布的材料,并非本文独立复测。[2]

榜单成绩与部署速度应看清条件

英伟达报告称,Nemotron 3.5 Transcribe 在英语 Open ASR Leaderboard 的9个公开测试集上平均词错误率为4.71%,在多语言榜单上为4.62%,并将其称为开放权重模型中的领先成绩。[1][3]这些数字是特定公开测试集上的结果,不意味着模型在所有口音、录音设备、背景噪声或专业术语场景中都能达到相同准确度;实际使用仍需要按数据和任务验证。

性能数字也有明确条件。模型卡称,经过优化的 Nemotron Transcribe NIM 在单张 RTX PRO 6000 Blackwell Server Edition GPU 上,使用 NVFP4 和 DFlash2 推测解码时,最高可处理每秒2,238秒音频;同一页面说明,这些服务端优化尚未进入开源版本,发布时 NeMo Speech 中的 vLLM 集成主要面向模型开发,预计速度约慢一倍。[3]因此,这个峰值不能直接当作普通机器或未经优化部署的通用速度。

开放权重不等于零成本部署

权重开放让开发者可以自行选择处理音频的位置,并尝试在本地或云端部署;但模型总规模约34B,运行仍受显存、硬件、量化格式和软件栈影响。模型卡列出的部署配置包括一张80GB H100,NVFP4 版本则注明面向 Blackwell GPU。[3]这些信息意味着“开放”提供了获取和调整模型的空间,并不自动保证它能在任意消费级设备上顺畅运行。

许可方面,模型使用 OpenMDW-1.1。该许可允许在遵守协议条件下处理模型材料,并对再分发提出保留许可文本及相关来源声明等要求;使用者应阅读协议原文,不能仅凭“开放权重”几个字推断所有用途和分发方式都没有条件。[1][4]

Nemotron 3.5 Transcribe 的产品方向,是把转录、说话人标注和翻译等步骤尽量收拢到一个可提示、可微调的模型中。它能否在具体工作流程中减少错误和部署成本,仍取决于独立测试、硬件条件、数据隐私要求与后续集成,而不是单凭榜单排名或厂商公布的吞吐峰值就能确定。

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。