【ALLENAI】DiScoFormer：一模型估计密度与评分

DiScoFormer 是一款基于 Transformer 的模型，能在一次前向传播中从样本集合同时估计分布的密度和 score（对数密度的梯度），并在推理时通过自洽损失即时适配异分布输入。它将注意力视为广义的核密度估计，使用高斯混合模型生成无限训练目标，在高维度下显著优于经典 KDE。

概览
– 任务：从有限样本恢复数据分布的密度与 score（∇ log p）。
– 贡献：用单一 Transformer（DiScoFormer）同时输出密度与 score，无需为每个新分布重训。

模型架构与关键技巧
– 输入：整个样本集作为上下文，使用交叉注意力对任意查询点估计密度与 score。
– 双头设计：共享骨干网络，分别输出密度头与 score 头；score 必须匹配 log-density 的梯度，形成无标签的一致性损失。
– 推理微调：保持上下文固定，对一致性损失做少量梯度步以适配离散布输入，无需真实标签。
– 理论连接：单个注意力头可近似高斯核，注意力是 KDE 的严格广义化，能学习多尺度影响范围。

训练数据与监督信号
– 使用高斯混合模型（GMM）随机生成每个批次的目标分布，因其为通用密度逼近器且有解析密度与 score，便于精确监督。

性能与适用场景
– 在高维（例如 100 维）上，DiScoFormer 相较最佳手调 KDE 在 score 上误差降低约 6.5 倍，密度误差降低超过 37 倍，并随样本数增长保持改进。
– 对训练外的分布也具有鲁棒性：能处理更多模态的混合和非高斯形状（如 Laplace、Student-t）。
– KDE 优势仍在于小数据集和计算速度。

潜在影响
– Score 是生成建模、贝叶斯抽样与科学计算中的共享依赖。预训练的通用密度/score 估计器可减少为每个任务重训的成本，成为可复用的基础工具。

建议阅读
– 参考作者技术报告获取理论与实现细节（原文含数学推导与实验设置）。

将注意力视为广义 KDE 的想法很实用，能把传统统计方法与现代 Transformer 有机结合。

原文链接