自回归模型还能这么玩？kaiming团队：我们真的不需要矢量量化｜自回归视觉生成模型系列解读

主要观点总结

本文介绍了极市平台签约作者科技猛兽发表的关于图像生成领域的最新研究成果，论文标题为《不使用矢量量化的自回归图像生成》。文章详细阐述了该论文的背景、目标、方法、实验结果等。重点介绍了自回归模型在图像生成领域的应用，以及离散值和连续值token的使用，扩散损失函数的应用等。

关键观点总结

关键观点1: 研究背景

随着自回归模型在自然语言处理领域的成功应用，其在图像生成领域的研究也取得了一定的进展。传统的自回归模型通常使用矢量量化的token，而本文提出了一种不使用矢量量化的自回归图像生成方法。

关键观点2: 方法介绍

本文提出了一种在连续值域上对每个token的概率分布进行建模的方法，利用扩散过程建模每个token的概率分布，使得自回归模型能够在连续值空间中应用。作者提出了一种名为Diffusion Loss的损失函数来模拟每个token的概率分布，并设计了相应的采样器。

关键观点3: 实验结果

实验结果表明，使用Diffusion Loss的连续值token在图像生成任务上优于使用离散值token的Cross-entropy Loss。此外，本文的方法还支持多种不同的tokenizer，具有灵活性和可扩展性。

关键观点4: 技术亮点

本文的技术亮点在于提出了一种不使用矢量量化的自回归图像生成方法，通过将自回归模型与扩散过程相结合，实现了在连续值空间中的图像生成。此外，本文还提出了一种新的损失函数——Diffusion Loss，用于建模每个token的概率分布，提高了图像生成的质量。