Hugging Face发布TRELLIS.2几何微调指南，通过LoRA适配粗结构与形状生成模块，改善鞋类三维模型的鞋底几何，并提供数据预处理、训练与容器化流程。作者在9件留出对象上报告平均F-score由0.276升至0.803，但小样本结果尚不能证明跨类别泛化能力或工业应用可靠性。
一张鞋的图片可以生成看起来像样的三维模型，但鞋底是否接近真实结构，是另一个问题。2026年11月12日，Suvaditya Mukherjee与merve在Hugging Face发表三维生成模型微调指南，介绍如何为TRELLIS.2添加LoRA适配器，针对鞋类改善几何生成，并提供数据预处理、训练脚本和容器化工作流。
这不是TRELLIS.2新模型的发布，而是针对已有模型的适配实践。作者报告，在9件留出的鞋类对象上，同时使用两个几何适配器后，平均F-score由0.276升至0.803。不过，这些数字来自作者自己的小样本评测，说明的是特定数据与设置下的几何变化，并非独立测试，也不能直接证明模型已经适用于工业设计或机器人仿真。
为什么只改几何，不改纹理
TRELLIS.2是微软研究团队的图像到三维生成模型。微软官方代码库将其描述为一个40亿参数模型，使用名为O-Voxel的稀疏体素表示，同时承载几何和材质信息。相关研究的论文页面标注的公开日期为2025年12月16日，早于本次指南。
理解这次微调，需要先区分模型内部的不同工作。按照指南的说明，输入图片先去除背景，再由DINOv3-L编码成图像特征；稀疏结构生成阶段决定物体大致占据哪些空间，形状生成阶段补出更细的几何，纹理与材质阶段则处理表面颜色、金属度、粗糙度和透明度等属性，最后导出带材质的网格。
作者发现，基础模型生成的鞋通常整体外观合理，但鞋底不够准确。因此，他们只在控制粗结构与详细形状的两个扩散Transformer中加入LoRA，保持纹理生成部分不变。
这不只是为了节约算力，也取决于数据能提供什么监督信号。实验使用的扫描资产带有漫反射颜色贴图，其中混入了已经烘焙的光照效果，却缺少训练材质阶段需要的独立材质贴图。作者指出，直接拿这些颜色贴图训练材质模型，可能让模型把光照误学成表面固有属性，并损害原有能力。
换言之，能够获得三维资产，并不意味着可以同样可靠地微调几何与材质。此次方案首先把问题限定为形状修正，再选择与数据相匹配的训练目标。
188件鞋，如何变成可重复使用的训练数据
实验数据来自Google Scanned Objects，简称GSO。谷歌在2022年6月的原始介绍中说明，该数据集包含1030件扫描对象及关联元数据，以CC BY 4.0许可提供。本次作者从中选取188件鞋类对象，其中179件用于训练，9件留作评测。它不是一个新发布的大规模鞋类数据集。
预处理阶段通过Blender为每件对象渲染16个视角，再利用TRELLIS.2冻结的编码器，把三维网格转换为训练所需的潜在表示。训练时，每次为对象随机选取一个渲染视角作为图像条件；已经编码好的数据则保存下来，供后续训练重复使用。
作者同时提供了预处理后的鞋类数据集，包含两类几何潜在表示、条件渲染图、对象索引、留出名单与评测用参考网格。这让复现实验的人不必从扫描资产转换重新开始，但换成自己的业务资产时，仍需要真实的三维网格作为几何监督，仅有照片并不够。
留出样本的划分也有边界。配套代码库说明，分组规则针对GSO鞋类的颜色、尺寸等名称变体设计，目的是让近似重复对象留在同一组。对于其他命名方式，这种划分实际上接近带随机种子的随机切分。因此，迁移到新数据时，不能默认它已经识别所有同款变体；否则，训练集和评测集之间的相似对象可能影响对泛化能力的判断。
LoRA降低了更新规模，没有消除训练门槛
LoRA即低秩适配：冻结原模型权重，只训练加入特定层的小型矩阵。指南称，这次两个阶段合计训练约930万个适配器参数。粗结构阶段在注意力层和前馈网络中使用秩为8的适配器，形状阶段则在注意力层中使用秩为16的适配器。
这种选择也受实现限制影响。配套仓库说明，形状模型前馈网络使用的SparseLinear层不能由当前PEFT方案直接包装，因此其预设只适配注意力层。它不是把相同LoRA配置不加区分地套到所有模块上。
工程交付分为预处理容器和训练容器，既可在Hugging Face Jobs上运行，也可通过本地Docker使用NVIDIA GPU。作者报告，在A100 80GB上，188件对象的完整预处理约需1小时；两个阶段各进行3000步训练，粗结构阶段用时7.2小时，形状阶段用时3.6小时。这些是特定配置下的运行记录，而不是其他数据规模或硬件上的耗时保证。
仓库还给出24GB显存配置：降低单次小批量大小、增加梯度累积，以保持相同的有效批量；作者称已在L4上做过冒烟测试。这能支持较低显存设备开展尝试，但不等于24GB显卡已复现A100实验的全部结果或速度。
容器也不是下载后即可无条件使用的完整模型包。仓库明确，镜像不包含模型权重或数据，首次使用时另行下载；训练所用DINOv3需要账号获准访问，并遵守Meta的独立许可。TRELLIS.2代码与模型的MIT许可，不会自动覆盖所有依赖和训练资产。
指标改善，究竟说明了什么
指南报告的9件留出对象比较中，平均Chamfer距离由0.174降至0.033，法线一致性由0.530升至0.804；同时使用两个适配器时，全部9件对象的F-score都有改善。
这三项指标关注不同问题。Chamfer距离衡量两个表面采样点之间的接近程度，越低越好；法线一致性衡量表面方向是否接近，越高越好；F-score综合表面匹配的精确率和召回率，本次匹配阈值设为参考扫描对象包围盒对角线的2%。因此，0.803不能改写成“80.3%的生成准确率”，也不是模型完成实际设计任务的成功率。
作者特别提醒，训练损失曲线并不能直接代表几何质量。粗结构阶段的损失先快速下降、随后趋缓，形状阶段的损失则大致维持在相近水平；流匹配损失还会受到采样对象、噪声和时间步的影响。判断生成是否改善，仍需要把输出与未用于本次微调的参考对象进行比较。
这里的“留出”也只针对本次适配器训练。9件对象没有参加这轮微调，并不自动证明它们从未进入基础模型的预训练数据。现有结果能够支持的结论，是这套鞋类适配方案在作者给出的留出比较中改善了几何指标；它是否适用于其他物体类别、真实拍摄条件和更广泛的任务，尚需更多测试。
此次指南的实际价值，是把选择训练模块、准备三维监督数据、保存潜在表示、训练适配器和留出评测连成一套可供复用的流程。它展示了如何针对一个具体缺陷调整已有三维生成模型，同时也说明：更少的可训练参数和更好的表面指标，仍不能替代针对最终用途的验证。