Cloudflare于2026年推出AI Gateway的Auto Router公测，允许开发者将模型指定为cloudflare/auto，由网关根据任务类型、复杂度、风险和价格等自动选择最合适的模型，从而在能力与成本间寻求平衡。公司内部测试显示Auto Router可显著降低调用成本，但目前仍为public beta，效果依赖具体工作负载，建议开发者在生产环境谨慎试用并进行自己的对照测试。
Cloudflare于2026年9月30日宣布，AI Gateway推出Auto Router公测版。开发者将请求中的模型改为cloudflare/auto后，系统会根据任务类型、复杂度、歧义程度、风险水平、上下文依赖以及模型价格等因素，在符合条件的模型池中自动选择一个模型，而不再要求用户为每次请求手动决定使用哪一个模型。
Cloudflare表示，公司在内部OpenCode部署中的早期测试显示，与始终调用前沿模型相比，Auto Router最多可节省约30%的成本。但这仍是公司内部测试结果，Auto Router目前也只是public beta，并不意味着已经全面商业化或适用于所有生产场景。
Auto Router试图解决什么问题
企业使用生成式AI时，模型选择往往成为成本管理中的一个矛盾点。较小、较便宜的模型足以处理摘要、分类和简单问答，但复杂的研究、代码调试或涉及较高风险的任务，可能需要更强的模型。如果把所有请求都交给能力最强的模型，系统容易出现资源浪费；如果过度压低模型成本，又可能牺牲任务完成质量。
Cloudflare的思路是把模型选择从终端用户手中部分移交给网关。AI Gateway原本已经提供请求分析、日志、缓存、速率限制、重试和模型回退等能力；Auto Router进一步尝试利用这些请求经过同一控制层的特点，在请求进入上游模型之前判断哪一个模型更适合。
这类“路由层优化”并非完全没有先例。此前，AWS在Amazon SageMaker Inference中推出了前缀感知路由，重点是让共享长提示词前缀的请求更稳定地命中同一推理实例，从而提高KV缓存复用率。两者关注点不同：SageMaker主要优化重复上下文带来的延迟和缓存收益，而Cloudflare的Auto Router主要在模型能力与调用成本之间做动态取舍。
公司内部基准测试显示成本与成功率存在取舍
Cloudflare在官方文章中披露了一项内部通用知识工作基准测试。测试覆盖电子邮件、日历、Slack、文件、旅行和财务等日常工作流，每项任务都要求模型使用模拟工具，给出可验证的答案或完成一项操作。测试包括97项任务，每个模型每项任务进行三次采样。
在这项测试中，cloudflare/auto完成了291次试验中的252次，成功率为86.6%；总成本为2.10美元，每次成功成本约为0.0084美元。作为对比，Anthropic Claude Opus 5.5的成功率为96.6%，总成本为5.91美元，每次成功成本约为0.0210美元；OpenAI GPT-6 Sol的成功率为84.2%，总成本为2.64美元，每次成功成本约为0.0108美元。
这些数字说明，Auto Router并没有在这项测试中达到Claude Opus 5.5的成功率。Cloudflare的解释是，路由器的目标不是让每个请求都使用最强模型，而是在不同任务之间寻找一个“足够好的能力—成本”平衡点。公司称，Auto Router的表现接近其他日常使用型模型，但成本约为GPT-6 Sol的80%、Claude Opus 5.5的35%。
需要强调的是，以上结果来自Cloudflare自建的内部基准。测试任务、工具环境、模型版本和成本配置都由公司设定，数据还带有统计置信区间，因此不能直接当作独立第三方评测，也不能据此推断所有企业工作负载都能获得同等收益。
路由器如何作出决定
Auto Router首先建立一个可用模型池。它会排除不支持当前请求格式或输入类型的模型，例如请求带有图像时，只保留能够处理图像输入的候选模型；同时还会考虑网关的凭据、计费配置、访问控制和支出限制。出现故障的上游服务或模型会被暂时排除，恢复后再重新加入候选池。
随后，系统会对对话内容进行压缩分析。Cloudflare称，其部署在Workers AI和边缘GPU上的多头分类模型，会把请求归入包括编程、规划、研究和数据分析在内的14类任务，并从复杂度、歧义度、风险程度和对历史上下文的依赖四个维度进行评分。
第二个阶段是评分。系统将分类结果与不同模型的基准表现结合，估算各模型对当前请求的适配程度，再把预期质量与输入、输出令牌价格放在一起计算。简单任务中，成本因素权重较高，较小模型更容易胜出；任务难度提高后，成本惩罚会降低，更强模型获得更大机会。
Cloudflare将这一逻辑概括为“预期质量减去自适应成本惩罚”。这意味着，路由器并不是简单地把请求平均分配给不同供应商，也不是只按照每百万令牌价格选择最便宜的模型。一个标价较低的模型如果需要输出更多令牌才能完成任务，最终成本未必更低。
多轮对话中的模型切换并不免费
对于代码调试或持续运行的智能体，多轮会话中的上下文缓存也是成本的重要组成部分。模型切换可能导致原有缓存无法继续使用，新模型需要重新读取或重写上下文，因而抵消部分低价优势。
为此，Auto Router支持会话亲和性。开发者可以通过cf-aig-session-id标记多轮会话，系统会在一个用户回合及其后续工具调用中尽量保持同一模型，以利用提示词缓存。跨回合时，如果新模型的预期收益足以抵消丢失缓存的代价，路由器才会考虑切换。开发者也可以通过请求头限制可选模型或供应商，或者关闭会话亲和性，让系统逐请求重新选择。
每次响应还会返回被选中的模型、路由原因、路由决策编号和请求编号等信息。这使开发者能够追踪某次请求究竟为什么被路由到特定模型，也便于在出现质量或成本异常时进行排查。
公测不等于生产结论
Cloudflare称，Auto Router在公测期间免费，并计划继续扩大可用模型范围，加入零数据保留要求、供应商容量因素、推理或思考级别选择，以及对Responses API和WebSockets的完整支持。公司还在探索让结构化决策模型参与第一阶段分类。
这些计划也显示，当前版本仍存在明显边界。可选模型池会随着时间变化，内部基准不能覆盖企业自身的领域知识和工具调用流程；当请求包含敏感数据、严格合规要求或高风险操作时，能否使用某个模型不仅取决于价格和能力，还取决于数据保留、地域、权限和审计条件。
Cloudflare把Auto Router定位为AI Gateway控制面的延伸，而不是一个能够替代模型评测和生产监控的自动决策黑盒。对于希望试用的开发者，更稳妥的做法是先限定模型池，记录路由结果、任务成功率、令牌消耗和延迟，再用自己的真实工作负载与固定模型进行对照。只有在质量下降处于可接受范围、节省成本能够稳定复现的情况下，自动路由才可能成为生产系统中的长期策略。
Cloudflare官方公告：Cut your AI spend with AI Gateway’s Auto Router。开发者文档：Auto Router。AI Gateway产品概览：Cloudflare AI Gateway。