SGLang-Neuron v0.1.0首次进入开源公开预览，让开发者通过公开容器在AWS Trainium上部署受支持模型，并保留熟悉的SGLang服务接口。插件引入异步执行、融合内核与分层缓存，但模型兼容、硬件配置和依赖版本仍有限制，实际成本优势需结合具体工作负载验证。
2026年11月12日，RadixArk的SGLang团队与Amazon Annapurna Labs宣布，面向AWS Trainium的推理插件SGLang-Neuron v0.1.0进入开源公开预览。开发者可以通过公开容器获取这套软件，用SGLang熟悉的服务接口部署受支持模型，而不再只依赖此前的封闭测试渠道。
LMSYS的发布公告将其称为SGLang Trainium后端的首次公开发行；AWS的配套介绍则提供了Deep Learning Container和模型服务示例。这次进展的重点，是让一套包含调度、缓存及硬件执行适配的推理路径对公众开放，而不是Trainium首次获得PyTorch支持。
但公开可获取不等于正式通用版本。项目的发行说明明确标注“public preview”：当前大语言模型部署使用Trn3实例，扩散模型使用trn2.48xlarge，模型、接口和功能范围仍可能变化。对于准备迁移的团队，首先需要核对的不是“是否支持Trainium”这一笼统标签，而是具体模型、硬件和功能组合。
保留服务接口，重新适配执行路径
SGLang-Neuron采用独立于SGLang主代码树的插件架构。SGLang继续负责API服务器、请求调度、基数树缓存和预填充—解码分离协议；插件负责Neuron设备、模型实现、注意力内核、KV缓存池及计算图执行。
其底层是AWS的原生PyTorch后端TorchNeuron。标准PyTorch操作通过Neuron编译器进入Trainium执行路径，性能敏感的部分则使用Neuron Kernel Interface（NKI）编写的专用内核。换言之，开发者面对的服务入口尽量保持熟悉，但芯片上的执行方式仍需要专门工程适配。
这也与此前TorchNeuron公开测试的报道有所区别：TorchNeuron解决的是PyTorch如何连接Trainium，SGLang-Neuron则在其上提供面向模型服务的调度、缓存和运行时适配。两者属于软件栈的不同层级，不能把底层后端的支持范围直接当作插件的模型兼容清单。
优化重点：减少等待、合并内核、复用缓存
根据项目公告，v0.1.0的主要工程工作集中在模型执行步骤如何提交、一次执行包含多少计算，以及KV缓存存放在哪里。
首先，受支持的大语言模型共用一条异步执行路径。计算图执行与主机数据传输分开安排，让下一步输入准备尽可能与设备上的上一轮计算重叠。其目标是减少CPU、运行时与加速器之间的等待，而不只是提高某个算子的峰值速度。
其次，部分模型使用megakernel或giga-kernel路径，把一次解码步骤的多个层合并进一次NKI内核调用。项目称，这样可以更直接地控制中间结果的存储和搬运，减少大量小内核之间的边界开销。GPT-OSS-120B、GLM-5.2及Qwen3.5-397B-A17B有相应实现，但具体阶段和并行配置因模型而异，不能理解为所有模型都获得了同一种优化。
第三，插件支持把预填充和解码放到不同服务器。预填充处理输入提示并生成KV缓存，解码则利用这些中间结果逐步生成后续文本；两端通过NIXL和AWS的Elastic Fabric Adapter（EFA）传送缓存。这样可以分别配置和扩展两类工作负载，但也增加了节点间通信和部署配置的要求。
HiCache则把部分被设备缓存逐出的前缀保留在主机内存中，后续命中时再加载回来，避免重新计算。本版还加入通过NIXL连接的远端DRAM缓存层。这些设计尤其针对反复携带长上下文的会话和智能体任务：瓶颈不仅是模型计算，也包括已有上下文能否复用，以及复用时的数据搬运成本。
支持长上下文，不意味着全面兼容
公开发行说明列出了Qwen3系列、GPT-OSS-120B、GLM-4-9B、DeepSeek-V2-Lite，以及GLM-5.2、Kimi-K3和Qwen3.5-397B-A17B等模型的部署路径。其中，GLM-5.2和Kimi-K3包含百万token上下文配置；Kimi-K3的方案使用三个Trainium3节点，一个承担预填充，两个承担解码。
这些是项目针对指定模型和配置披露的能力，并非任意检查点都可以直接加载。发行说明同时指出，本次预览中的大语言模型以纯文本方式服务；不能因为模型本身具有多模态能力，就推断插件已支持其全部输入输出方式。
扩散模型走的是SGLang Diffusion平台，而非大语言模型运行时。列出的模型包括图像生成的FLUX.1-dev、视频相关的MiniMax-H3与Wan2.2 A14B、机器人动作模型FLUX.3-Action，以及实时世界模型LingBot-World-V2；这些配置使用trn2.48xlarge。它们属于不同流水线，不能由共享SGLang名称推断性能、接口或硬件需求完全一致。
更直接的限制写在固定提交版本的README中：该版本依赖Neuron SDK 2.33.0，并锁定上游SGLang提交43881a7；使用其他SGLang修订版会在启动时被拒绝。未进入模型目录的架构不能启动，LoRA、混合分块、embedding服务和SGLang权重更新端点也不受支持。
这种版本锁定说明，插件虽不要求维护一个独立的SGLang分叉，却仍依赖经过验证的上游代码和适配钩子。保持API外观相近，与能够随时升级全部依赖，是两回事。
从封闭测试走向公开评估，成本结论仍需实测
本次发行并非从零开始。2026年10月22日的测试版公告已介绍SGLang在Trainium上的推理和强化学习生成任务，并披露过Trainium生成轨迹、GPU承担训练的异构实验。11月12日的明确新增，是首次公开发行及公开容器路径，同时进一步披露异步运行时、内核与缓存方案。
LMSYS此次还称，团队已用Qwen3-30B-A3B验证由SGLang-Neuron生成强化学习轨迹、Miles通过TorchTitan后端训练的端到端流程。不过，发行文档仍明确拒绝SGLang权重更新端点，因此这项特定流程的验证不能被扩展成所有在线权重更新方式均已支持。
项目公告给出了部分性能数字，例如在GPT-OSS-120B、TP8和32K上下文的指定测试中，HiCache L2使输出吞吐量提高72%至75%。这一数字来自项目方，比较对象是其特定缓存配置，不是与GPU平台的通用性能或成本对照；本报道没有进行独立复测。
对已有SGLang工作负载的团队而言，这次公开预览增加了一条可实际评估的非GPU部署路径。但最终是否更划算，仍取决于目标模型、并发、上下文长度、缓存命中情况、网络和实例成本，以及迁移维护所需的人力。公开发行降低了获取软件的门槛，并没有消除这些验证工作。