(arXiv 2025) Meta 最新算法 SPG，刷新扩散语言模型推理极限

主要观点总结

该论文介绍了一种新型的强化学习算法SPG（Sandwiched Policy Gradient），用于训练扩散式大语言模型（dLLMs）。SPG通过同时利用对数似然的上界（EUBO）和下界（ELBO）来减少策略梯度的偏差，并提出'上下界夹逼'优化策略。此外，论文还提出了块状（Block-wise）蒙特卡洛遮罩策略，以提高模型的稳定性和泛化性。论文通过实验验证了SPG的有效性，并提供了详细的实验结果和可视化分析。

关键观点总结

关键观点1: SPG算法介绍

SPG是一种新型的强化学习算法，用于训练扩散式大语言模型。它通过利用对数似然的上界和下界来减少策略梯度的偏差。

关键观点2: 上下界夹逼优化策略

SPG引入'上下界夹逼'优化策略，对于奖励为正的样本，最大化下界（ELBO）；对于奖励为负的样本，最小化上界（EUBO），从而在正负样本间实现无偏优化。

关键观点3: 块状蒙特卡洛遮罩策略

SPG提出了块状（Block-wise）蒙特卡洛遮罩策略，替代传统随机mask，用于在扩散模型的RL训练中更好地对齐生成与优化分布，提高模型的稳定性和泛化性。

关键观点4: 实验结果与分析

论文提供了详细的实验结果和可视化分析，包括消融实验表2、表3和可视化结果Figure 3至Figure 6。实验结果表明SPG算法的有效性，包括在负优势样本处理、蒙特卡洛估计中的遮罩策略、训练奖励曲线等方面的优势。