7B扩散LLM，居然能跟671B的DeepSeek V3掰手腕，扩散vs自回归，谁才是未来？

主要观点总结

香港大学和华为诺亚方舟实验室发布新的扩散推理模型Dream 7B，该模型在通用能力、数学推理和编程任务上表现出卓越性能。它打破了自回归模型在文本生成领域的垄断，展现了扩散建模在自然语言处理领域的广阔前景。模型引入离散扩散建模作为序列生成的替代方案，具有双向上下文建模、灵活可控生成、高效直接映射数据等优点。此外，该模型还展示了强大的规划能力、推理灵活性和质量速度之间的灵活权衡。

关键观点总结

关键观点1: Dream 7B模型发布和性能概述

Dream 7B是首个在开源扩散语言模型中达到SOTA的模型，展现了与顶尖自回归模型相媲美的性能。它在通用、数学和编程任务上表现出卓越的能力。

关键观点2: 扩散建模的优势

扩散建模具有双向上下文建模、灵活可控生成、高效直接映射数据等优点，显示出在自然语言处理领域的广阔前景。

关键观点3: Dream 7B的设计特点和训练过程

Dream 7B采用掩码扩散范式构建模型，立足于研究团队在扩散语言模型领域的前期探索。训练数据全面覆盖文本、数学和代码领域，主要来源于多个语料库。遵循精心设计的训练方案，用上述混合语料对Dream 7B进行预训练。

关键观点4: Dream 7B的规划能力和推理灵活性

Dream 7B展示了强大的规划能力，在处理多重约束问题或实现特定目标任务时更有效。此外，相较于自回归模型，它在两个核心维度上显著增强了推理灵活性：任意顺序生成和质量-速度之间的灵活权衡。

关键观点5: 有监督微调的作用

有监督微调是扩散语言模型后训练阶段的关键一步，可以增强模型与用户指令的对齐度。作者对Dream进行了有监督微调，实验结果展现了其在性能上的潜力。