Score Matching

【ALLENAI】DiScoFormer：一模型估计密度与评分

DiScoFormer 是一款基于 Transformer 的模型，能在一次前向传播中从样本集合同时估计分布的密度和 score（对数密度的梯度），并在推理时通过自洽损失即时适配异分布输入。它将注意力视为广义的核密度估计，使用高斯混合模型生成无限训练目标，在高维度下显著优于经典 KDE。