统一自监督预训练！视觉模型权重无缝迁移下游任务，SiT收敛提速近47倍

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 来源 | 机器之心  最近的研究强调了扩散模型与表征学习之间的相互作用。扩散模型的中间表征可用于下游视觉任务，同时视觉模型表征能够提升扩散模型的收敛速度和生成质量。 然而，由于输入不匹配和 VAE 潜在空间的使用，将视觉模型的预训练权重迁移到扩散模型中仍然具有挑战性。 为了解决这些问题，来自高德地图的研究者提出了 统一自监督预训练（USP, Unified Self-Supervised Pretraining） ，该方法通过在变分自编码器（VAE）的潜在空间中进行潜在掩码建模（Masked Latent Modeling）预训练，预训练得到的 ViT 编码器等权重可以无缝迁移到下游任务，包括图像分类、语义分割以及基于扩散模型的图像生成。 论文名称：USP: Unified Self-Supervised Pretraining for Image Generation and Understanding 论文地址：https://arxiv.org/pdf/2503.06132 ………………………………