MIT团队新作JiT：一个简单的“回归”，让扩散模型在大Patch下重生

主要观点总结

本文是关于JiT模型在预测clean data（原始图像数据）与预测噪声或速度场等“noised quantity”之间的探讨。文章首先提出了两个大前提：预测噪声与速度场等和预测原始图像数据是两回事，以及自然界的数据“clean data”是分布在高维空间中的低维流形。在此基础上，通过一系列实验验证了当数据维度逼近或超过模型宽度时，只有回归低维流形的原始数据能收敛，而预测高维噪声/速度场必然崩溃。文章介绍了JiT模型的核心观点和方法，即去掉了tokenizer和预训练的“三无”Transformer直接预测clean image，并通过实验验证了其有效性。此外，文章还探讨了模型架构设计与维度之间的关系，并发现引入Bottleneck结构有助于性能提升。最后，文章总结认为，我们应该把关注点放在预测原始数据上，即“去噪”任务。

关键观点总结

关键观点1: 文章提出的两个大前提：预测噪声与速度场和预测原始图像数据是两回事，以及自然界的数据“clean data”是分布在高维空间中的低维流形。

基于这两个前提，文章通过一系列实验进行了验证。

关键观点2: JiT模型的方法：去掉了tokenizer和预训练的“三无”Transformer直接预测clean image。

文章通过实验证明了这种方法的有效性。

关键观点3: 模型架构设计与维度之间的关系：当数据维度逼近或超过模型宽度时，只有回归低维流形的原始数据能收敛。

文章讨论了如何在这种关系下设计模型架构。

关键观点4: 引入Bottleneck结构有助于性能提升。

通过实验验证了这一点。

关键观点5: 文章的总结：我们应该把关注点放在预测原始数据上，即“去噪”任务。

文章强调这一观点作为最终结论。