Cloudflare于2026年10月发布开源权重决策模型Clef-omni,首次在单次调用中支持文本、图像、音频与视频多模态输入并输出结构化概率化判断。该模型基于Qwen3-Omni系列,既提供Workers AI托管服务也开放Hugging Face权重,适合客服分流、内容审核和设备检测等决策型场景,但性能和可靠性仍需开发者在各自部署中验证。
Cloudflare于2026年10月9日发布开放权重决策模型Clef-omni,将音频和视频输入加入此前Clef系列已经覆盖的文本与图像处理能力。与需要生成长文本的通用大语言模型不同,Clef-omni面向的是结构化判断:开发者预先定义问题和可选答案,模型在一次请求中为各个选项给出概率。
这意味着,客服分流、设备检查、内容审核或安全事件判断等任务,可以把文字、照片、录音和视频交给同一个模型处理,而不必先分别调用语音转写、图像理解和视频分析模型,再把结果交给另一个决策模块。
Clef-omni把多模态输入放进同一条决策链
根据Cloudflare官方公告,Clef-omni支持WAV或MP3音频,以及MP4或WebM视频,并可以在同一请求中结合文本、图像、音频和视频。Cloudflare给出的示例是检查一台设备:模型可以同时判断照片中的型号标签是否清晰、录音中的机器声音是否正常,以及视频中的风扇是否正在运转。
Cloudflare表示,Clef-omni建立在Qwen3-Omni-30B-A3B-Instruct混合专家模型基础上。该基础模型原本具备文本、图像、音频和视频理解能力,但Cloudflare保留了主要的理解骨干,移除了文本转语音输出组件,并加入面向结构化问题的决策头。
因此,Clef-omni并不是一个以自由文本回答为主要输出的聊天模型。其模型卡显示,输出是每个问题对应的选项分数或概率;问题类型包括真假判断、从预设选项中选择,以及按照给定标准评分。模型权重已经发布在Hugging Face,采用Apache 2.0许可证。
这一路线延续了Cloudflare此前发布Clef和Clef-flash时提出的“决策模型”思路。AIFlux此前对Cloudflare开源Clef与Clef-flash的报道指出,这类模型的作用不是替代通用大模型,而是在软件工作流中提供快速、概率化的判断。
性能数字存在官方页面之间的差异
Cloudflare在官方博客中称,Clef-omni的文本请求中位响应时间约为130毫秒,图像输入约为150毫秒,音频输入为数百毫秒;一段带声音的21秒视频,评分耗时约1.5秒。公司同时强调,这些数字来自自身测试,真实延迟会受到部署环境、输入大小和负载影响。
不过,Cloudflare Workers AI更新页面给出的口径并不完全相同:页面称文本请求约20毫秒,图像或音频输入低于100毫秒,带声音的21秒视频约300毫秒。两份一手材料发布时间都指向10月9日,但没有解释测试条件为何不同。
因此,现阶段更稳妥的表述是:Cloudflare宣称Clef-omni能够在单次调用中快速处理多模态输入,但具体延迟应以开发者自己的部署和负载测试为准。上述性能不能被写成独立第三方验证结果,也不宜直接用于比较不同服务商的端到端体验。
开放权重与托管服务并行
Clef-omni已经可以通过Workers AI调用,模型标识为@cf/cloudflare/clef-omni,并沿用Clef系列使用的System One接口。Cloudflare还表示,该模型可以通过AI Gateway接入现有工作流。
同时开放权重,意味着开发者可以在本地或自己的基础设施上进行试验。Hugging Face模型卡写明,Cloudflare的测试环境使用单台H200,半精度加载模型大约需要64GB GPU显存;音频和视频处理还依赖相应的媒体处理组件。开放权重降低了接口验证和行为评估的门槛,但并不等于模型已经适合所有生产场景。企业仍需检查硬件成本、媒体输入的token计费、概率校准和边界样本表现。
从模型家族的定位看,Clef-omni补足了多模态决策能力,而Clef-flash则转向更低价格。Cloudflare称,Clef-flash的托管输入价格从每百万token 0.09美元降至0.038美元,但代价是托管版本的上下文窗口从此前公布的64K缩短至24K。Cloudflare称,只有0.24%的请求超过24K输入token;如果需要更长上下文,开发者可以使用仍保留64K窗口的Clef。
需要区分的是,托管版本的限制不等同于权重本身的限制。Cloudflare称,Hugging Face上的Clef-flash权重未被修改,理论上支持最高256K上下文,但自行部署需要承担硬件、服务和优化成本。
决策模型的价值取决于外围控制层
Clef-omni的实际意义,不只是把更多输入格式放进模型,而是试图把多模态理解直接接入自动化流程。例如,一个设备维修系统可以根据图像、声音和视频判断是否需要派遣工程师;一个安全系统可以先对录音、监控片段和文本告警进行分类,再决定是否升级给人工团队。
但结构化输出也不会自动解决误判问题。开发者仍需设置置信度阈值、人工复核路径、权限边界和回滚机制。尤其在安全审核、医疗辅助或设备故障判断等场景中,高置信度错误可能比模型明确表示不确定更危险。
Cloudflare公布的评测表显示,Clef-omni在BANKING77、CLINC150+OOS和Amazon ESCI等部分测试中取得了Clef系列中的较高分数,但在不同基准和工作流上并非全面领先。相关数字来自Cloudflare或其模型卡所列的内部运行,评测任务、数据版本、提示方式、硬件环境和服务配置都会影响结果。
多模态模型竞争正在从“能否看懂一张图或一段视频”,转向“能否在真实工作流中根据多种证据作出可执行判断”。Cloudflare这次发布提供了一个开放权重的尝试,但它能否在不同企业数据和高风险场景中稳定工作,仍需要独立复测以及更长时间的实际部署记录。