Rime 于 2026-10-28 发布面向企业的语音到语音模型 Prism,能直接处理用户音频并在输出语音前保留可供检查与改写的文本层,同时支持通话中发起工具调用。该设计在保持自然交互的同时提供业务可控接口,但文档与评测由厂方披露,接入与权限控制、音频格式兼容及定制训练仍存在实际部署限制。
Rime于2026年10月28日发布面向企业语音代理的语音到语音模型Prism,试图在自然对话与业务可控性之间提供另一种选择:模型直接处理用户音频,同时保留一个可供应用检查、改写的回复文本层,再将内容转换为语音。
根据Rime的发布公告,Prism在说话时仍会接收用户音频,也能在通话中请求调用工具。对客服、订餐和账户服务而言,这意味着同一套系统不仅要回答问题,还要处理插话、查询数据及执行操作。不过,可检查文本和工具调用接口提供的是控制入口,并不自动保证每次回复合规、每项操作都得到授权。
为什么直接听音频,还要保留文本
常见的语音代理采用串接式架构:语音识别先将发言转成文字,语言模型生成回答,再由语音合成系统读出来。这种方式便于更换组件和设置文字规则,但如果后续决策只接收到转写文本,犹豫、笑声、情绪和背景声音等信息便可能被削弱。
Rime称,Prism作为一个端到端系统完成聆听、生成回复文本和说话三个任务,决策依据来自音频,而文本成为说话之前的检查点。公司表示,应用可以在这一层检查每个词、改写内容,处理动作及内容标签,并针对姓名和账户术语进行音素控制。
这一设计的重要之处,不是让文字彻底退出语音交互,而是改变文字的位置:它不再是模型理解用户时唯一的信息通道,同时仍承担业务规则与输出之间的接口。至于这些控制能在多大程度上降低错误率,发布公告没有提供足以覆盖所有业务场景的独立验证。
企业语音市场也并非只有这一条路线。Mistral此前发布的Voxtral 3技术栈强调将实时转写、语言模型、语音生成和工具连接起来,并允许替换不同模块。两者回应的是同一个问题:如何让代理在自然交流的同时,可靠地完成企业工作流;但所选择的系统边界并不相同。
已有云端接口,首发仍有明确限制
Rime的Prism开发文档列出了云端WebSocket接口,以及Python、Node.js、Go和Rust SDK。模型支持内置对话轮次判断和打断处理,每次语音回复还附带文本,可用于字幕和会话记录。
文档列出的语言范围为英语,声音包括aurora、wawona、brando和astra四种。它们是Prism专用声音,不能直接套用Rime其他文本转语音模型的声音目录。因此,Rime已有多语言语音产品,并不意味着Prism首发同样支持多语言。
接入电话系统也不只是替换一个模型地址。Prism的直接接口接收16 kHz单声道PCM16音频、输出24 kHz音频,不直接接收或输出电话系统常见的μ-law或G.711格式,企业需要在中间进行音频转换。用户侧后端还要持续传入音频、播放回复,并在插话后报告用户实际听到了多少内容。
这使Prism更接近一项可嵌入应用的实时模型服务,而不是无需开发即可接管联络中心的成品。文档也明确,它不提供纯文本回复、可自由选择的语言模型或温度等采样设置;需要这些能力的团队,可能仍更适合采用自己的模块化流程。
0.57秒与56.6分,分别说明什么
Rime在公告中称,它使用Artificial Analysis语音到语音排行榜采用的测试框架,对Prism进行了评估,运行时不在开口前增加推理步骤。该公司披露,Prism在τ-Voice上的得分为56.6,首段音频时间为0.57秒。
τ-Voice涉及航空、零售和电信等模拟客服场景,关注语音代理的工具调用与指令遵循。它与单纯评价声音是否自然的听感测试不同。Rime称,Prism在电信子项上得到82.5分,作为对照的GPT-Live-1为45.6分;公司同时承认,有两个先进行推理再说话的模型取得更高的τ-Voice分数,但开始说话需要1.24至1.35秒。
这些数字呈现的是特定配置下的能力与等待时间取舍,而不是Prism在所有维度都领先。评测由Rime披露,即使使用与第三方相同的框架,也不能写成第三方已经独立复测并确认了这些结果。
0.57秒衡量的是开始输出首段音频的时间,不是完成整轮对话或执行完一项业务操作所需的时间。工具接口响应、电话音频转换以及网络传输,都可能影响用户真正感受到的等待。
能请求工具,不等于由模型执行全部操作
Prism可以一边用语音告知用户正在查询,一边发出工具请求。但Rime的工具调用指南划分了模型与应用的职责:Prism决定何时请求工具,真正运行代码的是企业后端;后端提交结果后,还需要请求Prism继续回复。
这一区分直接关系到权限与可靠性。预约、下单或修改账户的授权不能仅依靠模型的一句话,仍需由应用侧验证参数、执行权限检查并处理失败。文档还提醒,Prism不会对工具请求进行去重;一次超时且结果未知的请求可能仍在完成,不能简单自动重试,否则可能造成重复操作。
Rime同时展示了针对订餐服务Revmo的训练案例:公司称,使用10小时生产通话、工具轨迹和转写记录构建强化学习环境后,训练出的Prism有94%的订单在来电者确认后才提交,对照OpenAI系统为57%。
这项指标衡量的是下单前是否取得确认,并不等于整体订单成功率,更不能证明系统从不发生未经授权的操作。该案例由Rime介绍,不能直接推广为所有企业通话的效果。公告还指出,Revmo当时的订餐代理仍运行在OpenAI上,不能将训练实验表述为已经完成生产替换。
定制训练与正式可用仍是两回事
Rime将面向企业自身通话的训练视为Prism的另一项卖点。不过,公告的具体表述是:公司正与测试客户共同建设自助强化学习和监督微调API。这与已经提供的实时推理接口不是同一成熟度,不能据此认定所有开发者都已能自助训练和部署专属模型,也不能把可微调理解为开放权重。
Prism此次发布的实质,是把直接理解音频、保留可检查文本、同时听说和工具请求放进同一项模型服务。对企业而言,它提供了一个值得评估的架构选项;是否适合投入生产,仍取决于实际通话中的准确率、权限控制、重复操作防护以及人工接管机制,而不只是声音是否像真人,或首段音频能否在半秒左右到达。