Llama模仿Diffusion多模态涨分30%！不卷数据不烧卡，只需共享注意力分布

文章预览

↑ 点击 蓝字  关注极市平台 来源丨量子位 极市导读   通过简单的“注意力对齐”，仅需1天训练、2.5%常规数据量，即可让Llama-3.2等模型在多模态问答任务中性能飙升30%，甚至能防“偏科”。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 这次不是卷参数、卷算力，而是卷“跨界学习”—— 让Stable Diffusion当老师，教多模态大模型（如Llama-3.2）如何“看图说话”！ 性能直接飙升30%。 中国研究员联合DeepMind团队的最新研究 《Lavender: Diffusion Instruction Tuning》，通过简单的“注意力对齐”，仅需1天训练、2.5%常规数据量 ，即可让Llama-3.2等模型在多模态问答任务中性能飙升30%，甚至能防“偏科”（分布外医学任务提升68%）。 且代码、模型、训练数据将全部开源！ 下面具体来看。 模仿Stable Diffusion的交叉注意力机制 当前遇到的问题是： 传统多模态 ………………………………