其实，扩散语言模型在最终解码之前很久，就已确定最终答案

主要观点总结

本文介绍了扩散语言模型（DLMs）的发展背景以及存在的问题，即推理速度慢于自回归（AR）模型。针对这一问题，来自香港理工大学、达特茅斯学院等机构的研究者提出了一种名为Prophet的快速解码策略，用于加速DLMs的推理过程。该策略基于早期答案收敛现象，通过监测模型预测的置信度来动态判断是否终止解码，从而实现显著推理加速。

关键观点总结

关键观点1: 扩散语言模型（DLMs）成为自回归（AR）模型有力的替代方案，具有高效的并行解码和灵活的生成顺序等优势。

DLMs尽管有加速潜力，但实际应用中推理速度仍慢于AR模型，主要因为缺乏KV-cache机制和快速并行解码带来的性能下降。

关键观点2: 研究者通过观察发现，有极高比例的样本在解码早期阶段即可获得正确解码，这一趋势在随机重掩码中尤为显著。

基于这一发现，提出了无需训练的快速解码策略Prophet，利用早期答案收敛特性，通过监测解码过程中top-2答案候选之间的置信度差距，自适应地终止解码。

关键观点3: Prophet方法实现了显著的推理加速，最高可达3.4倍，同时在保持高质量生成效果的同时，能够即时做出是否终止解码的决策。

Prophet的核心思路是在模型预测结果趋于稳定时，一次性提交所有剩余token并提前生成答案，这一过程被称为早期提交解码。

免责声明