【HUGGINGFACE】超越 LoRA：PEFT 技术的实践比较

Hugging Face 调研并基于统一基准评测多种参数高效微调（PEFT）方法，发现虽然 LoRA 表现稳健且最流行，但在不同任务与指标上并非无可争辩的最佳选择；他们提供了可复现的基准、工具和建议，便于开发者在自己的数据上比较多种 PEFT 方案。

背景与问题
– 参数高效微调（PEFT）能显著降低微调大型模型的显存和存储成本，并支持对量化模型微调。
– LoRA（Low Rank Adaptation）因早期普及、丰富教程和工具支持而成为默认选择，但流行不等于最好。

Hugging Face 的方法
– 在 PEFT 库中实现 40+ 种 PEFT 方法，提供统一 API，兼容 Transformers、Diffusers，并支持多种量化方案。
– 设计统一、可复现的基准：相同基模型、相同数据集、相同训练/评估代码与硬件；同时衡量多项指标（测试性能、显存消耗、遗忘/漂移、运行时间、检查点大小）。
– 基准包含两类任务：LLM 的链式思维数学任务（MetaMathQA），以及图像生成中的概念学习/不遗忘任务（例如 cat plushy）。

主要发现
– LoRA 表现稳健、适用广泛，且在社区中占绝大多数用例与检查点。
– 在某些任务或指标上，其他 PEFT 方法优于 LoRA（例如更少遗忘、更小检查点或更低显存），没有单一方法在所有维度上都最优。
– 论文中的胜过 LoRA 的结论可能受基线调参不足或基准差异影响，因而难以直接推广到你的数据集。

对实践者的建议
– 不要盲从默认 LoRA：使用 PEFT 库在你自己的数据上横向评测多种 PEFT 配置。
– 关注多维度指标（显存、训练时间、检查点体积、遗忘），以匹配实际部署与业务需求。
– 运行成本低且可扩展的基准框架能帮助你做出数据驱动的选择。

工具与可复现性
– Hugging Face 提供了易于扩展的基准脚本，便于在消费级硬件上比较不同 PEFT 配置。
– 目标是让用户能在相同条件下评估方法而非只依赖论文结果。

在实际项目中，基于你自己数据做横向对比往往比盲从论文结论更可靠。

原文链接