Google Cloud Pathways在GKE上正式可用,支持单个JAX客户端统一编排多个TPU切片,简化大规模训练中的跨设备协调。弹性训练仍需配合代码恢复逻辑、状态快照与资源配置,并非现有脚本自动获得无中断保障;通过Cluster Director接入Slurm的版本仍处于预览阶段。
Google Cloud宣布,面向大规模机器学习任务的分布式运行时Cloud Pathways已在Google Kubernetes Engine(GKE)上正式可用。它让一个JAX客户端统一编排多个TPU切片(slice),把开发者原本需要在多台主机之间处理的部分协调工作,交给底层运行时。
此次发布的边界同样重要:正式可用的是GKE上的Cloud Pathways;通过Cluster Director接入Slurm集群的版本仍处于预览阶段,不能将两者视为成熟度相同的部署选择。
Google Cloud公告的首次公开元数据标记为2026年11月9日,带时区的发布时间为当日16时00分11秒(UTC−05:00);页面当前显示日期则为11月10日,两者存在差异。此次新进展是云端运行时进入正式可用阶段,而不是Pathways架构首次问世。
从“每台主机一个进程”到统一控制
大模型训练的难题,并不只在于能否获得更多芯片,还在于如何协调它们。按照官方技术概览,JAX默认的多控制器方式由多个进程参与执行,每个进程有自己的Python解释器和局部设备视图,主要采用“单程序、多数据”(SPMD)模式。
当各设备执行相同程序、处理不同数据时,这种方式有明确的适用场景。但如果任务包含不同阶段、不同程序,或者跨越多个TPU切片,资源管理与程序之间的依赖关系就会变得更复杂。
Pathways采用单控制器模式,让一个客户端看到统一的设备系统。这里的“单控制器”并不意味着所有计算都在一台机器上进行:资源管理器负责分配加速器、监测工作节点和协调任务;运行在TPU主机上的工作进程接收编译后的程序并执行计算;代理组件则连接用户程序与运行时。
其接口基础包括Interim Framework Runtime(IFRT)。用户仍然需要决定模型如何分布到硬件上,但跨设备的执行、数据传输和调度可以由运行时在更完整的集群视图下协调。公告称,一个JAX客户端能够编排跨多个切片、涉及数千颗TPU芯片的任务。
这不是用一种新模式否定所有SPMD任务,而是为超出单一同步程序的工作负载提供另一种组织方式。例如,强化学习后训练可能同时涉及生成样本、奖励评分和模型更新,三个环节需要交换数据,也可能需要相互重叠执行,而不是轮流等待。
单控制器之外,数据处理与故障恢复如何配合
Cloud Pathways此次介绍的另一项能力,是与TPU工作进程共置的Python sidecar容器。它允许分布式数据加载、检查点等Python逻辑在加速器主机上执行,而不是全部绕回远端客户端。官方概览说明,这类组件的作用之一,是减少控制器与加速器之间的数据传输延迟。
不过,“能够运行在主机旁边”和“故障后能够透明恢复”并不是同一回事。Google的弹性训练文档区分了计划内中断与意外故障,也说明部分依赖有状态共置Python组件的工作负载不能通过暂停、恢复机制透明还原。
对于多切片训练,弹性机制的目标是在某个切片失效时,保留客户端和仍然健康的切片。训练代码可以捕获错误、重新配置资源,再继续执行。用户可以选择等待全部切片恢复,也可以在满足最低切片数量要求的情况下,重建设备网格并在较少切片上继续训练;拓扑缩小时还可能需要重新编译。
状态恢复则依赖配套逻辑。文档介绍,Orbax的内存快照机制可把训练状态复制到主机内存,再从幸存副本恢复并重新分片。模型参数、优化器状态以及数据迭代器状态都需要纳入恢复设计,相关状态还必须满足跨切片复制等条件。
因此,公告所说的“从N个切片缩减到N−1个切片继续训练”,不是任何现有脚本都能自动获得的无中断保证。它结合了运行时能力、训练代码中的恢复逻辑、快照和资源配置。客户端保持存活,也不等于训练吞吐量不变,或完全没有恢复开销。
1.3亿芯片小时说明了什么
Google称,在公告之前的90天里,AI公司和企业客户通过GKE上的Pathways累计使用了超过1.3亿Cloud TPU芯片小时,覆盖多个TPU世代。这是厂商披露的使用规模,不是独立性能评测;“芯片小时”也不是芯片数量或训练速度。
公告列出的具名案例包括科学基础模型公司ZenteiQ。Google称,该公司在多切片Trillium集群上,将Pathways与MaxText、Tunix、共置Python组件及主机快照结合,用于预训练和强化学习。ZenteiQ创始人在公告引述中表示,动态调整资源与快照减少了人工监控、手动重启的负担。
这些案例有助于说明产品瞄准的需求:持续多日的训练任务,需要面对硬件故障和维护窗口。但客户证言不能替代可复现的横向测试。此次公告没有给出适用于所有模型和配置的统一加速倍数、成本下降比例或恢复时间保证。
正式可用的范围,以及它没有改变的事
按照Google公告,GKE版本覆盖支持Cloud TPU v5e、v5p、Trillium(v6e)和Ironwood(TPU 7x)的Google Cloud区域,并提供支持JAX 0.10.1及以上版本的版本化容器镜像。这不等于每个区域、每种TPU型号都有同样的可用容量,也不能据此推断其他TPU型号已获得此次公告所列支持。
产品还提供从终端或笔记本交互式运行、检查和调试JAX任务的方式,以及让多个用户或任务按需共享长期运行TPU资源池的Shared Pathways Service。Slurm用户则需要单独考虑Cluster Director集成仍为预览这一状态。
从更长的时间线看,Pathways系统论文早在2022年3月23日就已提交,讨论通过异步分布式数据流与单控制器组织大规模加速器计算。2026年这次发布的意义,是相关运行时在Google Cloud的GKE部署路径上进入正式可用阶段,而非首次提出单控制器训练。
它也应与其他TPU软件生态进展区分开来。此前Hugging Face推出TorchTPU的报道关注的是PyTorch模型如何接入TPU;Cloud Pathways此次公告的核心,则是JAX任务如何跨多个TPU切片执行和协调。两者解决的问题不同,不能把一个项目的框架支持直接套到另一个项目上。
对准备采用Cloud Pathways的团队而言,判断依据仍应回到自身任务:是否存在跨切片、多程序的协调负担,训练状态能否满足快照与恢复条件,拓扑变化时的重新编译成本有多大,以及现有代码需要做哪些调整。正式可用提供了一个更明确的部署节点,但真正的效率与可靠性收益,仍需在具体模型、资源配置和故障场景中验证。