生成理解统一模型解读 (二)：Chameleon：生成理解统一模型的开山之作

文章预览

↑ 点击 蓝字  关注极市平台 作者丨科技猛兽 编辑丨极市平台 极市导读   既能做图像理解，又可以做图像或者文本生成任务的，从头训练的 Transformer 模型。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 太长不看版 生成理解统一架构的开山之作。 Chameleon 是一个既能做图像理解，又可以做图像或者文本生成任务的，从头训练的 Transformer 模型。 Chameleon 完整记录了为实现 mixed-modal 模型的架构设计，稳定训练方法，对齐的配方。 Chameleon 在一系列全面的任务上进行评估：有纯文本任务，也有图像文本任务 (视觉问答、图像字幕)，也有图像生成任务，还有混合模态的生产任务。 Chameleon 展示了广泛而通用的功能，包括图像字幕任务中最先进的性能，在纯文本任务中优于 Llama-2，同时与 Mixstral 8x7B 和 Gemini-Pro 等模型具有竞争力，并带有图像生成的 ………………………………