生成与理解相互促进！华科字节提出Liquid，揭示统一多模态模型尺度规律！

主要观点总结

本文介绍了华中科技大学、字节跳动与香港大学联合团队提出的极简统一多模态生成框架Liquid。该框架摒弃了传统的外部视觉模块，采用VQGAN作为图像分词器，使图像与文本共享同一词表空间。研究揭示了统一表征下的多模态能力遵循LLM的尺度定律，并展示了Liquid在多模态任务中的优势。此外，文章还探讨了Liquid在视觉生成与理解任务中的性能表现，以及与现有模型的对比。

关键观点总结

关键观点1: Liquid框架的特点与贡献

Liquid采用VQGAN作为图像分词器，将图像编码为离散的视觉token，与文本token共享同一词表空间。这使得LLM无需任何结构修改即可掌握视觉生成与理解能力，摆脱对外部视觉组件的依赖。

关键观点2: Liquid与传统多模态大模型的对比

传统多模态大模型普遍依赖外部视觉模块，如CLIP或扩散模型。Liquid框架通过采用离散视觉token，实现了图像与文本的统一表征，使得视觉与文本能够以相同的“下一token预测”范式联合建模。

关键观点3: Liquid的实验结果与性能

实验结果表明，Liquid在视觉生成与理解任务中性能卓越，超越了传统模型和某些扩散模型。此外，Liquid在保留语言能力的同时，扩展了视觉生成与理解能力。研究还揭示了多模态任务间的互惠关系和尺度现象，为大规模预训练提供了新的思路。