Google DeepMind与Artificial Analysis合作推出多模态知识智能体基准MKA，通过200项跨行业任务评估智能体理解图纸、交叉分析文件并交付工作成果的能力。Gemini 4 Carbon在论文四模型比较中排名第二，平均任务API费用约为最高分模型的六分之一，但前三名质量差异未达统计显著水平，成绩也不等于完整任务成功率。
Google DeepMind 于2026年11月10日宣布，与评测机构 Artificial Analysis 合作推出多模态知识智能体基准 MKA（Multimodal Knowledge Agent）。它试图回答一个比“模型能否看懂图片”更接近实际工作的问题：面对图纸、扫描件、表格等混合资料，智能体能否把关键信息串联起来，交付可检查的报告、演示文稿或工作簿？
按照Google的公告，正式评测包含200项任务，覆盖10个行业、83种职业。Google同时强调 Gemini 4 Carbon 在所测模型中质量排名第二，平均任务成本约为最高分模型的六分之一。但技术报告也显示，前三名之间的主要质量指标差异未达到统计显著水平，最强模型在较难评分项上的得分仍不足57%。这些结果既展示了视觉工作流评测的新方向，也说明距离可靠地承担完整专业任务仍有明显空间。
不只是读出文字，而是跨文件完成项目
MKA的设计出发点是：很多工作资料的重要信息存在于位置、形状、比例和布局中，把文件转换为纯文本，可能恰好丢掉完成任务所需的线索。
技术报告介绍，200项任务均分到商业、建筑、教育、工程、金融、医疗、法律与政府、物流与制图、科学、软件与数据等10个领域。任务作者具有至少五年相关专业经验，每项任务还由同职业背景的另一名专家复核。
每项任务提供2至45个输入文件，平均7.3个。它们可能包括建筑平面图、电路图、医学影像、地理空间数据、合同和电子表格。88%的任务要求创建或修改独立文件，其余任务通过文本回答。评测关注的不是单张图片上的一道问答，而是智能体能否自行选择工具、打开资料、交叉分析，并形成符合要求的交付物。
Artificial Analysis公开展示的建筑师任务就是一个例子：智能体需要对照五层平面图、两幅剖面图和四幅立面图，检查门窗等构件的表达是否一致，区分“存在不符”和“无法判断”的情况，再用相关图纸裁切图支持发现，将报告控制在10页幻灯片以内。这里，提取出门窗编号并不足以完成任务，还必须理解不同视图之间的空间对应关系。
排名衡量的是评分项，不是整项工作成功率
Artificial Analysis的评测说明显示，各模型运行在开源 Stirrup 智能体框架中，使用相同的工具、Linux沙箱和250轮交互上限。环境允许代码执行、联网搜索和网页读取；支持图像输入的模型还可以使用图像查看工具。
任务输出由另一套智能体评分器检查。它既会渲染文档页面，也能通过代码查看电子表格公式等内部内容，而不是只读最终文字。评分模型使用非Google模型 GPT-6 Luna；Artificial Analysis页面标注其采用 medium 推理设置，并称评测由该机构独立执行。与此同时，MKA本身是Google DeepMind与该机构合作推出的基准，因此应将基准设计、评测执行和模型提供方的关系分开理解。
评分标准由领域专家编写，200项任务合计包含14,284个判定项，平均每项任务约71个。每个判定项按1至5分赋予权重，模型满足的判定项权重占比构成加权满足率（WSR），再对任务取平均。
排行榜主指标 Climb-WSR 只计算较难的那部分判定项。研究团队先用一组此前模型测试，将它们已能稳定满足的项目划为基础能力检查，其余划为Climb项目。因此，54%的Climb得分，不代表54%的完整任务已经成功，也不代表模型可以替代相同比例的专业岗位。
在技术报告公布的四模型比较中，Claude Fable 5.2 的Climb-WSR为56.56%，Gemini 4 Carbon为54.34%，Claude Opus 5.5为53.01%，GPT-6 Astra为50.24%。对应的整体WSR分别为73.26%、71.89%、70.98%和69.34%。
报告指出，前三款模型的Climb-WSR在统计上无法显著区分。这意味着“排名第二”可以描述这次测试中的点估计顺序，却不能据此断言Carbon的真实能力确定介于另外两款模型之间。报告中的四款模型在基础能力检查上均超过95%，更困难的跨文件分析与交付要求才是主要差距所在。
约六倍成本差，适用于什么条件？
成本是Google此次公告的另一重点。技术报告列出的平均每任务API费用为：Claude Fable 5.2为35.28美元，Gemini 4 Carbon为5.63美元，Claude Opus 5.5为10.29美元，GPT-6 Astra为6.03美元。这是论文四模型实验中的数据，不应与后续扩展的在线榜单混为同一组比较。
报告将Fable与Carbon之间的费用比列为6.26倍，计算采用写作时的供应商API标价，并计入提示缓存读写定价。Artificial Analysis另说明，其成本统计只包含被测模型调用，不含评分模型调用。因此，这不是部署一套完整系统的总成本，也不能直接推导出企业人工成本会降低六倍。
不同模型解决任务的路径同样差异很大。报告中的平均交互轮数从GPT-6 Astra的29轮到Claude Fable 5.2的128.8轮不等，Carbon为46.6轮。消耗更少的令牌也不必然意味着账单最低，因为单位令牌价格及缓存机制不同。对企业而言，质量、调用成本和完成时间需要一起衡量，不能只比较模型的一次回答价格。
视觉工具确实有用，但结论有边界
研究团队通过移除Carbon的图像查看工具，测试视觉能力是否真正影响结果。模型仍可运行代码、使用OCR和图像处理库，因此并非完全失去处理图片的手段。
在MKA上，移除该工具后，Carbon的Climb-WSR下降5.94个百分点，整体WSR下降4.58个百分点；平均交互轮数变为原来的1.28倍，输出令牌量变为1.40倍。作为对照，同一模型在GDPval上的整体得分几乎不变。
报告据此认为，MKA中的视觉信息对完成任务具有实质作用：仅靠文本抽取和编程绕行，能够弥补部分损失，却无法同样有效地处理所有图像类型。不过，这项对照实验只在Carbon上开展，不能直接推断其他模型依赖视觉工具的程度，也不能将其表述为所有传统办公基准都没有视觉价值。
自动评分本身也有适用范围。研究团队在覆盖9个领域的50项任务上，让三名领域专家在不知道模型身份的情况下独立评分，得到自动评分与专家判定96.2%的一致率。但该研究重点检查较高权重项目，并调整了通过与不通过项目的构成。这个数字衡量的是特定研究样本中的逐项判定一致性，不是模型完成工作的准确率，也不意味着评分器不会漏判或误判。
私有正式集与公开样例之间的取舍
正式200项任务由Artificial Analysis持有并运行，不公开完整内容，目的是降低任务进入训练数据或被模型通过搜索找到的风险。另有一套与正式集不重合的10项公开展示任务，每个领域一项，包含提示、输入文件和评分标准。
这让开发者能够检查任务形式、尝试自己的智能体，但公开样例不等于正式测试集，样例成绩也不能直接代替排行榜结果。私有集有助于降低污染风险，同时限制了外部研究者完整复现正式结果的能力。
技术报告还承认，每个模型在每项任务上只运行一次、自动评分也只进行一次；所给置信区间反映任务抽样差异，没有覆盖智能体和评分器反复运行带来的波动。允许联网更接近部分实际部署场景，但也可能让模型从网上获取信息，而不是完全依赖视觉读取输入文件。
MKA最值得关注的变化，是把评测对象从一段看似正确的答案，推进到能够打开、核对公式和检查版式的工作成果。对准备采用多模态智能体的机构而言，它提供了一个更具体的测试框架；但是否适合真实业务，仍需用自己的文件、验收标准和风险约束进行验证，而不能仅凭一次排名决定。