token危机解决？扩散模型数据潜力3倍于自回归，重训480次性能仍攀升

主要观点总结

文章介绍了新加坡国立大学AI研究者Jinjie Ni团队对扩散语言模型（DLMs）的研究。研究发现，DLMs在面临可用高质量训练文本数据枯竭的问题时展现出超强的数据学习能力。通过与自回归（AR）模型的对比实验，DLMs在数据受限的情况下性能显著更优，并且具有超过三倍的数据潜力。研究还剖析了并行研究中存在的方法论缺陷，并强调了验证集损失并非比较AR和DLM的好指标。

关键观点总结

关键观点1: 扩散语言模型（DLMs）是超强的数据学习者。

团队从零开始预训练了一系列DLMs，规模最高达80亿参数、4800亿tokens。在普通网页数据上进行重复训练时，DLMs在数据受限场景下无论模型规模如何，都优于自回归（AR）模型，展现出显著更高的潜力且未出现性能饱和。

关键观点2: DLMs与自回归（AR）模型的对比实验。

为了研究DLMs的潜力，团队进行了额外实验，将同一份10亿token的数据集重复训练480个epoch。结果显示DLMs在HellaSwag和MMLU上的准确率显著高于AR模型。即使重复训练次数增多，性能依然没有饱和的迹象。

关键观点3: 方法论缺陷的剖析。

文章还提到了同期研究中存在的方法论问题，可能导致结论偏差。特别是损失函数的选择和使用方式对实验结果的影响被重点指出。

关键观点4: 验证集损失并非比较AR和DLM的好指标。

文章指出，在某些情况下，验证集损失并不能作为比较AR和DLM的好指标，因为损失函数的形式、模型的训练状态以及过拟合等因素都可能影响验证集损失的有效性。