【HUGGINGFACE】PRX 数据策略揭秘

Hugging Face 在 PRX 项目中构建了以多源为基础的预训练图像-文本语料流水线：混合公开与内部数据、用视觉语言模型（VLM）统一重生成注释，并采用 Lance 做探索与 MDS 做流式训练。团队在编码、文本潜变量计算、重注释、分片与去重等环节做了工程化权衡以兼顾多样性、可扩展性和训练效率。

背景与目标

• 目标：为 7B 级别的视觉预训练模型构建覆盖广泛、多样性的语料，优先覆盖面而非单张图片的极致完美。

数据来源与注释策略

• 数据混合：结合公开数据集与内部数据，优先复用已有的质量过滤与去重工作。
• 注释哲学：偏好详尽、准确的长描述（long captions），把图片中的“噪声”变为可控的条件特性。

数据格式与工具链

• Lance 用于数据探索与特征工程：列式存储、谓词下推、向量检索，便于对数十亿条记录做构建与剖析。
• Mosaic Data Shards (MDS) 用于流式训练：低维护、高性能，能直接从对象存储或分布式文件系统训练。
• 角色分工：Lance 做构建与筛选，MDS 做分发与训练。

文本潜变量与训练性能权衡

• 从预先算好文本潜变量改为训练时在线编码（使用 Qwen3-VL），导致吞吐量大约下降 3–4%，但带来更小的 MDS 分片与灵活更换编码器的好处。

图像编码选择

• 所有图片统一为 JPEG 质量 92，基于实验测量：一次重新编码的感知差异几乎不可见，而 PNG 将显著增大存储成本。

数据构建细节

• 先用 Lance 做画像与元数据的剖析、筛选与去重策略试验。
• 采用 VLM 统一为图片重生成注释，保证注释一致性与完整性。
• 使用 MDS 以分片（包含分辨率与长宽比分桶）方式实现高效流式读取与混合训练。

过滤与去重

• 过滤策略偏保守：只去除真正不可用或敏感的样本，避免在预训练阶段过度删减语料多样性。
• 去重是重要步骤，防止重复样本导致训练偏差。

经验教训与建议

• 为预训练优先考虑覆盖与多样性，精细化质量控制留到微调阶段。
• 结合专用的探索格式（Lance）与流式训练格式（MDS）可以兼顾可操作性与训练效率。
• 在工程上接受某些小的吞吐开销以换取长期的灵活性（例如在线编码）。

在预训练阶段优先保障数据多样性、并用工程化格式分离探索与流式训练，是务实且可复制的做法。

原文链接