扩散模型奖励微调新突破：Nabla-GFlowNet让多样性与效率兼得

主要观点总结

本文介绍了扩散模型在视觉生成领域的应用，针对扩散模型生成结果离预期偏好不一致的问题，提出了一种基于生成流网络（GFlowNet）的Nabla-GFlowNet方法，实现了生成样本的速度和质量间的平衡。文章还详细描述了Nabla-GFlowNet的原理、实现及实验结果。

关键观点总结

关键观点1: 研究背景

扩散模型已成为生成高质量图像、视频和文本的利器，但生成结果常不符合预期。直接应用传统强化学习微调扩散模型收敛速度慢，而基于可微计算图的方法易陷入过拟合和缺乏多样性。

关键观点2: 研究问题

如何平衡扩散模型的生成样本的多样性和微调速度。

关键观点3: 解决方法

基于生成流网络（GFlowNet）提出Nabla-GFlowNet方法，实现了扩散模型的快速微调，同时保留了生成样本的多样性。

关键观点4: 创新点

通过流平衡视角看待扩散过程，提出Nabla-GFlowNet框架下的流梯度平衡条件，并据此设计损失函数。

关键观点5: 实验结果

使用不同奖励函数对Stable Diffusion网络进行微调，实验结果表明Nabla-GFlowNet在奖励收敛速度、生成样本的多样性和符合预训练模型的先验方面表现出优势。