【IBM】ScarfBench：企业Java迁移基准

ScarfBench 是一个针对企业级 Java 框架迁移的开源基准，评估 AI 迁移代理是否能构建、部署并保持应用行为。测试覆盖 Spring、Jakarta EE 与 Quarkus，结果显示即便能编译，代理在实际部署与行为保真上仍普遍失败。

背景
– 企业应用框架迁移涉及配置、依赖与运行时语义，远超简单的代码转换。

ScarfBench 概述
– 目标：评估 AI 代理在跨框架（Spring、Jakarta EE、Quarkus）迁移任务中的真实能力。
– 要求：源码迁移后必须能成功构建、部署并通过行为验证。
– 基准规模：34 个应用、102 个框架实现、204 个迁移任务，约 151K 行代码，1,331 条专家测试。

基线评估与发现
– 编译 > 部署 > 行为：多数代理能生成可编译代码，但部署成功率更低，行为一致性更差。
– 行为成功率：即使最强的代理，行为级成功率也低于 10%。
– 目标框架差异：迁移难度显著依赖目标框架，Jakarta EE 尤其困难。

代理行为洞见
– 过度自信：代理自报构建成功的可靠性不足，必须独立验证构建与测试。
– 迭代迁移：迁移过程不是一次性替换，而是配置、Web、服务、数据库等层之间的反复调整。
– 配置为重：代理在配置相关文件上反复返回，表明配置与依赖解析占据主要工作量。
– 非代码问题：环境与工具（Docker 缓存、端口、Maven wrapper 等）常导致验证失败。

关键结论
– 真正的挑战不是源代码翻译，而是管理配置、依赖与运行时环境的复杂网格。
– ScarfBench 提供可复现的评测、排行榜与开源工具，帮助研究者与工程团队衡量和改进迁移代理。

资源
– 官方网站、数据集、代码库与排行榜均开源，便于复现与对比不同代理方案。

ScarfBench 刻画了从可编译到可运行的巨大鸿沟，提醒我们自动化迁移需要更多系统性验证而非仅靠生成代码。

原文链接