扩散模型训练方法一直错了！谢赛宁：Representation matters

主要观点总结

本文介绍了纽约大学研究者谢赛宁及其团队提出的REPA技术，这是一种针对生成式扩散模型的表征对齐技术。REPA能够帮助扩散模型更好地利用预训练的自监督视觉表征进行生成，从而提高模型的性能和效率。该技术基于扩散Transformer架构，通过正则化将预训练的自监督视觉表征蒸馏到扩散模型中，使模型能够更好地对齐目标自监督表征。REPA能够大幅提升模型训练的收敛速度和生成质量，取得了当前最佳的结果。

关键观点总结

关键观点1: REPA技术的引入背景和重要性

随着生成式扩散模型的应用越来越广泛，如何训练这些模型成为了关键问题。谢赛宁团队发现，训练扩散模型的主要挑战源于需要学习高质量的内部表征。因此，他们提出了REPA技术，一种基于近期的扩散Transformer架构的表征对齐技术。

关键观点2: REPA技术的核心思想和实现方式

REPA技术是一种简单的正则化方法，它将预训练的自监督视觉表征蒸馏到扩散模型中。具体来说，该技术使用干净的图像表征作为目标，并通过正则化让扩散模型的隐藏状态从噪声输入中预测出与目标自监督表征对齐的表征。这有助于模型更好地利用预训练的自监督视觉表征进行生成。

关键观点3: REPA技术的效果

REPA技术能够大幅提高模型训练的效率和效果。相比于原生模型，REPA能将收敛速度提升17.5倍以上。在生成质量方面，使用REPA的新方法取得了当前最佳的结果。

关键观点4: REPA技术的适用性和可扩展性

REPA技术适用于各种扩散模型和自监督视觉编码器，并且具有良好的可扩展性。该团队通过改变预训练编码器和扩散模型的大小来检查REPA的适用性，发现与更好的视觉表征相结合可以进一步改善生成和线性探测结果。