UniToken：为统一多模态理解与生成打造信息完备的视觉表征

文章预览

关注公众号，发现CV技术之美 来自复旦大学和美团的研究者们提出了 UniToken  —— 一种创新的统一视觉编码方案，在一个框架内兼顾了图文理解与图像生成任务，并在多个权威评测中取得了领先的性能表现。 UniToken通过融合连续和离散视觉表征，有效缓解了以往方法中“任务干扰”和“表示割裂”的问题，为多模态统一建模提供了新的范式。为了便于社区内研究者们复现与进一步开发，代码与模型已全部开源👇 论文标题：UniToken: Harmonizing Multimodal Understanding and Generation through Unified Visual Encoding 论文链接：https://arxiv.org/pdf/2504.04423 代码地址：https://github.com/SxJyJay/UniToken 任务背景：统一建模的挑战 在传统图文理解或图像生成模型中，其视觉编码的底层特性差异较大。譬如图文理解模型（如LLaVA、Qwen-VL等）要求从图像中抽取高层语义，从而进一步结合 ………………………………