应用与产品 · 深度报道

FLUX.3 Image Klein 接入 Diffusers:开放权重图像模型把布局控制带到本地工作流

Hugging Face 与 Black Forest Labs 将 FLUX.3 Image Klein 接入 Diffusers,发布了蒸馏与基础两个检查点并支持边界框布局控制、多参考图像和局部编辑。模型提供多种量化格式以降低本地运行门槛,并以 Modular Pipeline 形式便于集成与微调,但实际性能与商业使用仍需独立验证。

AIFluxNews AIFlux 编辑2026 年 10 月 15 日阅读约 5 分钟
FLUX.3 Image Klein 接入 Diffusers:开放权重图像模型把布局控制带到本地工作流

Hugging Face 与 Black Forest Labs 将 FLUX.3 Image Klein 接入 Diffusers,发布了蒸馏与基础两个检查点并支持边界框布局控制、多参考图像和局部编辑。模型提供多种量化格式以降低本地运行门槛,并以 Modular Pipeline 形式便于集成与微调,但实际性能与商业使用仍需独立验证。

Hugging Face 与 Black Forest Labs 于 2026 年 10 月 15 日宣布,FLUX.3 Image Klein 已从首日开始接入 Diffusers。这个约 56 亿参数的开放权重图像模型,支持文生图、多参考图像生图与编辑,并把基于边界框的布局控制加入同一套生成流程。

与只依靠文字描述构图的传统文生图模型相比,FLUX.3 Image Klein 允许用户在提示词后附加结构化区域信息,为画面中的元素指定位置、来源区域和目标区域。Black Forest Labs 将其定位为 FLUX.3 多模态模型家族中的图像版本;该公司同时强调,模型可以在消费级 GPU 和笔记本电脑上运行,但具体体验仍取决于显存、量化格式和推理配置。

Hugging Face 的官方介绍文章发布于 《Welcome FLUX.3 Image Klein in Diffusers》,模型本身则已放入 FLUX.3 Image Klein 模型集合。Black Forest Labs 也在 产品页面 展示了该模型的布局生成和局部编辑能力。

两个检查点:速度优先与微调优先

此次发布包含两个主要检查点。black-forest-labs/flux-3-image-klein 是经过时间步蒸馏的版本,默认使用 16 步推理且不需要分类器自由引导,面向低延迟生成;black-forest-labs/flux-3-image-klein-base 是基础版本,默认使用 50 步和 CFG,更适合微调与研究。

Hugging Face 的示例使用 ModularPipeline 加载蒸馏模型。开发者安装最新版本的 diffusers 和 transformers 后,可以直接加载模型组件并在 CUDA 设备上生成图像。文章还指出,FLUX.3 使用 Qwen3-VL 作为文本编码器,这也是安装 transformers 的原因之一。

根据 Hugging Face 的说明,蒸馏模型在 H100 上生成一张 1024×1024 图片约需 2 秒。更精确的测试表显示,文生图平均耗时约 1.93 秒;使用一张 1024×1024 参考图进行图生图时,平均耗时约 3.87 秒;对一张 1360×768 的参考图进行布局编辑时,平均耗时约 4.10 秒。这些数据是在单张 H100 80GB、没有卸载、使用默认注意力后端的条件下测得,不能直接等同于消费级显卡上的表现。

边界框让“构图”变成可描述的结构

FLUX.3 Image Klein 的主要区别,在于它把布局控制写进了提示词。每个区域包含一个 ID、一个边界框和一段描述文字。坐标采用 [y_min, x_min, y_max, x_max] 的顺序,并被归一化到 0 至 1000 的范围,因此同一套坐标可以适配不同输出尺寸。

在新图生成中,用户可以指定背景、人物、物体或文字分别出现在哪个区域。例如,提示词可以要求一个人物位于画面中央,同时让背景覆盖整个画布。模型会在相应区域内生成元素,而不是仅凭自然语言猜测它们之间的相对位置。

这种控制也可用于参考图编辑。用户可以为参考图中的元素指定 src_bbox,再为输出图指定 tgt_bbox,从而把一个对象从原位置移动到新位置,同时要求其他区域保持不变。Hugging Face 的示例将针织骑士从一块“来源区域”移动到左上方的“目标区域”,并锁定背景、山崖、针、巨龙和火焰等元素。

产品层面,Black Forest Labs 将这种能力概括为“逐个框编辑”。它的 FLUX 3 Image 产品页面还展示了多元素海报、局部重色、多人构图和高分辨率画面等案例。需要注意的是,这些案例主要是厂商展示,并不构成独立评测结果。

多参考图像与局部编辑成为同一流程

FLUX.3 Image Klein 可以接收多张参考图,并在提示词中使用 <ref_image_0>、<ref_image_1> 等标识引用它们。Hugging Face 的示例把一张狐狸图片和一张木凳图片组合起来,要求模型生成狐狸坐在雪地木凳上的画面。

模型也支持基于单张参考图的连续编辑。例如,用户可以先生成一只站在雪地森林中的狐狸,再提供原图并要求把场景改成月夜,而保留狐狸和森林的基本关系。对创作者而言,这类能力的价值不只是一次生成的质量,还在于后续修改是否能够减少重新构图和重新生成的次数。

这一方向与 AI 图像工具正在从“生成一张图片”转向“完成一套视觉任务”的趋势一致。AIFluxNews 此前报道的 腾讯混元 Hy Image3.5 preview同样把多轮编辑、参考图和视觉生产流程作为重点。两者的具体模型结构和评测口径不同,但共同反映出竞争标准正在从单张图片的观感,扩展到编辑一致性、版式控制和批量生产效率。

量化格式降低本地运行门槛,但并非没有代价

Hugging Face 文章列出了 bf16、FP8 和 NVFP4 等权重形式。FP8 和 NVFP4 版本可以通过 from_single_file 加载,目标是降低显存占用;其中 FP8 的快速内核支持取决于计算能力,NVFP4 则需要相应的 Blackwell 与 FlashInfer 环境。

在官方给出的测试中,NVFP4 在 RTX 6000 上加载后的峰值显存约为 13.4 GiB,推理后约为 15.3 GiB;FP8 在 H100 上分别约为 14.35 GiB 和 16.27 GiB;bf16 在 H100 上则约为 18.80 GiB 和 20.72 GiB。显存数字说明量化有助于降低部署门槛,但不意味着任何 8GB 显存设备都能获得相同的速度或完整功能。实际运行还会受到文本编码器、参考图尺寸、CPU 卸载和驱动栈的影响。

Black Forest Labs 在 10 月 15 日发布的公告中称,FLUX.3 Image Klein 可在至少 8GB 显存的消费级 GPU 和笔记本电脑上运行,并提供 FP8、NVFP4 和 INT8 版本。不过,该说法属于公司发布信息,官方公告没有给出覆盖各种消费级设备的统一速度测试,因此不宜把“可运行”理解为“适合所有设备进行实时生产”。

开放权重不等于完全不受限制

此次发布同时包含基础模型、蒸馏模型、量化权重和 LoRA 训练脚本。Hugging Face 表示,Diffusers 已提供文本到图像和图像编辑的 DreamBooth LoRA 脚本,开发者也可以使用 Ostris 的 AI Toolkit 进行微调。模型还计划由 ComfyUI、vLLM-Omni 和 SGLang Diffusion 等工具支持。

Black Forest Labs 表示,FLUX.3 Image Klein 使用 FLUX Kommunity License,个人和年收入低于 500 万美元的公司可以免费进行商业使用,同时允许研究和非商业使用;规模更大的组织则需要采用 Black Forest Labs 的自托管许可或 API 方案。企业在采用前仍需要核对完整许可文本、部署范围和商业收入门槛,不能仅依据“开放权重”四个字判断是否适合商业产品。

安全方面,Black Forest Labs 称其在预训练阶段使用数据过滤,在后训练阶段通过针对性微调抑制有害行为,并邀请外部安全合作方 Cinder 对两个模型检查点进行评估。公司表示,评估显示其模型的漏洞少于其他流行开放权重模型,但公告没有提供足以让外界独立复核的完整测试数据。这个结论应保留为厂商披露,而不是独立安全认证。

从模型发布到可编排组件

FLUX.3 Image Klein 还以 Modular Diffusers 流水线形式发布。开发者可以列出不同工作流,并替换或插入文本编码、去噪、预览和解码等模块。例如,Hugging Face 展示了如何把文本编码器从流水线中移出,先缓存提示词嵌入,再用同一组嵌入生成多张图片;也展示了如何在去噪循环中加入额外步骤,记录每个阶段对最终图像的预测。

这使模型更接近一个可以被应用程序和智能体调用的生成组件,而不是只能通过单一界面使用的黑盒。AIFluxNews 此前关于 Hugging Face 用 Gradio Workflow 重建 AUTOMATIC1111也涉及类似变化:把图像生成、编辑、放大和模型调用拆成可组合步骤,再通过 API 或 MCP 接入更大的软件流程。

对 FLUX.3 Image Klein 来说,真正的考验将不只是能否生成一张高质量图片,而是边界框在复杂场景中能否稳定遵守、多参考编辑能否长期保持主体一致,以及量化版本能否在较低显存下维持可接受的质量和延迟。随着模型权重、工具链和第三方工作流逐步开放,外部开发者将有机会对这些能力进行更广泛的验证。

目前可以确认的是,FLUX.3 Image Klein 已经把文生图、图像编辑、多参考输入和布局控制放入同一套 Diffusers 入口,并提供了本地部署、量化和微调路径。至于它是否能在实际生产中成为比现有开放模型更稳定的视觉工作流基础,仍需要独立基准、真实应用数据和更长期的部署反馈来回答。

不错过任何一条 AI 大事

订阅 AIFlux 早报,每天 3 分钟看懂产业动态。