自回归解码速度提高64 倍！MaskGIT：双向Transformer的图像生成新范式｜LVM经典解...

主要观点总结

本文介绍了MaskGIT模型，该模型在图像生成任务上取得了显著成果。MaskGIT使用掩码图像生成范式，通过Bi-directional Transformer进行图像生成。文章详细描述了MaskGIT的诞生背景、主要策略、迭代解码、掩码策略设计、实验及其结果在图像生成和图像编辑任务中的应用。MaskGIT在ImageNet数据集上的实验结果表明，它在图像生成方面优于最先进的自回归Transformer，并且适用于图像操作任务。此外，文章还介绍了MaskGIT在class-conditional图像编辑、图像修复和外绘任务中的应用。

关键观点总结

关键观点1: MaskGIT的诞生背景

介绍了MaskGIT模型诞生的背景，包括深度图像领域的进展和生成式Transformer模型在图像合成方面的应用。

关键观点2: MaskGIT的主要策略

详细介绍了MaskGIT的两阶段策略，包括使用Encoder将图片变为latent embedding，再通过codebook将这些embedding量化为视觉tokens。在训练期间，对tokens的子集进行采样，并用特殊的[MASK] token替换它们。

关键观点3: MaskGIT的迭代解码

介绍了MaskGIT的迭代解码方法，该方法通过并行生成所有token，然后在每次迭代中预测置信度最高的token。

关键观点4: MaskGIT的掩码策略设计

阐述了掩码策略对图像生成质量的影响，以及作者如何通过掩码调度函数对掩码过程进行建模。

关键观点5: MaskGIT的实验结果

在ImageNet数据集上的实验结果表明，MaskGIT在图像生成方面优于最先进的自回归Transformer。此外，MaskGIT在class-conditional图像编辑、图像修复和外绘任务中也有很好的表现。