Aleph Alpha发布Kolibri-1,一款78B参数的德英双语混合专家模型,支持百万级上下文并以Apache 2.0在Hugging Face开放权重。公司强调主权部署和供应链可控,适配受监管行业但仍面临硬件与第三方验证挑战。
Aleph Alpha于10月3日发布Kolibri-1,一款面向德语和英语场景的混合专家模型(Mixture of Experts,MoE)。模型总参数约为781亿,但每个token实际激活的参数约为34.6亿;它支持最高1,048,576个token的上下文,并以Apache 2.0许可证在Hugging Face开放完整权重。
这次发布的重点不只是模型规模,而是Aleph Alpha试图把模型能力、部署控制和欧洲监管环境放在同一个产品框架中。该公司将Kolibri定位为适用于公共管理、工业、航空航天等受监管行业的模型,强调客户可以把模型部署在自己的基础设施上,而不必将内部文档和提示词交给第三方推理服务。
Kolibri-1的核心取舍:参数容量与推理成本分开计算
Kolibri-1采用MoE架构。它拥有78.1B总参数,但每个token只激活3.46B参数。这样的设计可以在保留较大参数容量的同时,减少每次推理所需的计算量。不过,稀疏激活并不意味着模型可以使用很小的显存:完整的专家权重仍需要驻留在硬件内存中。
Aleph Alpha在官方发布中称,Kolibri在数学、代码、信息检索和长上下文任务上,能够与活跃参数量更高的模型相比。该公司还公布了包括AIME、GPQA、BrowseComp、工具调用和代码评测在内的多项结果。但这些数字是厂商自测结果,不能直接等同于独立第三方验证;不同模型的提示词、采样设置、评测实现和测试时间,也可能影响比较结果。
模型的双语设计也并非简单地把英语模型增加德语词汇。Hugging Face模型卡显示,预训练数据约62.5%为英语、23.9%为德语、13.6%为代码,德语数据在训练中占据较大比重。Aleph Alpha表示,公司使用面向德语词形结构的分词器,并尽量减少翻译数据带来的语言和文化偏差。
百万token上下文并不等于所有任务都应使用百万上下文
Kolibri-1的模型卡列出的最大上下文长度为1,048,576 tokens。Aleph Alpha同时建议,在对延迟、吞吐量和复杂任务表现有要求时,将上下文控制在262,144 tokens以内。
这一区分很重要。百万级上下文是经过验证的能力上限,但实际服务成本还取决于提示词长度、并发量、KV cache、硬件和推理引擎配置。对于需要处理长文档、企业知识库或多轮检索的应用,较长上下文可以减少切片和外部检索编排的复杂度;但如果每个请求都携带大量无关内容,长上下文也可能增加延迟和成本,甚至降低回答质量。
模型支持显式推理模式,开发者可以在none、low、medium和high等不同推理强度之间选择,也支持工具调用、结构化输出、检索增强生成和智能体工作流。官方提供的vLLM启动方式包括Kolibri专用的reasoning parser和tool-call parser,意味着模型的重点使用场景不仅是聊天,也包括需要调用API、搜索或执行代码的应用系统。
“德国制造”主权叙事,落到部署和供应链控制
Aleph Alpha称,Kolibri在德国研发,并在德国和芬兰的基础设施上训练,相关流程处于欧洲和德国法律框架之下。公司还表示,它掌握从数据整理、预训练和后训练,到评测与优化的完整流程,并以此作为“主权”的一部分。
主权AI在这里至少包含两个层面:第一,模型的训练、数据治理和供应链是否受到本地法律与组织控制;第二,客户是否能够把模型运行在自己的环境里。开放权重本身并不能自动证明整个系统具备主权属性,但它确实降低了客户对单一云服务商或外部API的依赖。
Kolibri-1的模型卡还提供了欧盟《人工智能法案》训练内容摘要。该摘要显示,训练语料主要包括英语和德语网页、代码、科学技术资料、法律和公共部门文本,以及数学、指令跟随、工具使用和安全数据。Aleph Alpha表示,数据经过筛选、去重、法律与来源审查,并采用过滤流程移除被认为非法、有害、侵权或包含个人身份信息的数据。
这些披露为欧洲通用人工智能模型的合规讨论提供了更具体的材料,但它们仍然主要是模型提供商自己的声明。训练数据的来源、过滤效果和版权合规程度,能否经受外部审查,仍需要监管机构、研究人员和权利人进一步核验。
硬件门槛并不低:约78GB的FP8权重只是起点
官方模型卡列出的FP8权重内存占用约为78GB。最低配置包括2张A100 80GB、2张H100 SXM5、1张H200、1张B200或1张B300;建议配置则包括2张H100 SXM5、2张H200或1张B200/B300。
这意味着,Kolibri-1虽然每个token只激活少量参数,但并不是面向普通笔记本电脑的本地模型。实际部署还要为运行时、KV cache、上下文长度、并发请求和服务框架预留额外内存。对于希望在本地或私有云部署的企业而言,模型权重的开放只是第一步,GPU采购、集群互联、推理优化和运维能力同样决定最终成本。
近期AI模型生态的变化也说明,本地运行越来越依赖权重格式、量化和推理引擎之间的协作。AIFlux此前报道的Hugging Face让Transformers直接运行llama.cpp量化模型显示,量化可以降低部分模型的内存需求,但也会带来精度和兼容性取舍。对Kolibri-1而言,Apache 2.0权重、FP8格式和vLLM插件共同构成了部署路径,能否进一步适配更广泛的硬件,还要看社区和推理框架的后续支持。
开放的不只是权重,也包括训练方法的可见性
Aleph Alpha表示,Kolibri源自一套持续迭代的训练流水线。公司先发布过Kolibri Origin,再在几个月内扩大模型规模、增加训练数据并延长上下文训练阶段。官方资料称,Kolibri预训练使用了约20万亿token,训练过程使用了768张NVIDIA B200 GPU。
这类信息能够帮助外界理解模型是如何被构建的,但仍不能替代可复现实验。对于开放模型,真正影响其研究价值的因素还包括训练代码、数据处理流程、评测脚本、中间检查点和失败案例是否公开。AIFlux此前对Ai2开放超大规模MoE训练基础设施的报道就指出,MoE的效率不仅取决于激活参数量,也取决于专家路由、显存分配、GPU间通信和低精度计算等系统工程问题。
Kolibri-1的现实意义,可能正是在这些模型发布口号之外的部分:它把德语能力、长上下文、工具调用和私有部署结合到一个开放权重产品中,并尝试以欧洲法律、数据治理和供应链控制作为差异化卖点。但这并不意味着它已经证明了“主权AI”在市场上的商业结果,也不意味着其自测基准已经得到独立验证。
下一步需要观察的是,公共机构和受监管行业是否会真正采用这类开放模型,以及Aleph Alpha能否在较高硬件门槛下提供稳定、可维护且成本可控的部署方案。对于企业用户而言,Kolibri-1的价值最终仍要由真实文档、真实工作流、数据驻留要求和长期运维成本来检验。