阿里国际Ovis2系列模型开源：多模态大语言模型的新突破

文章预览

背景 Ovis是阿里巴巴国际化团队提出的新型多模态大模型架构，通过巧妙地将视觉和文本嵌入进行结构化对齐，为解决模态间嵌入策略差异这一局限性提供了方案。Ovis2作为Ovis系列模型的最新版本，相较于前序1.6版本，在数据构造和训练方法上都有显著改进。它不仅强化了小规模模型的能力密度，还通过指令微调和偏好学习大幅提升了思维链(CoT)推理能力。值得一提的是，Ovis2引入了视频和多图像处理能力，并增强了多语言能力和复杂场景下的OCR能力，这些进步显著提升了模型的实用性。 Ovis2现已开源1B、2B、4B、8B、16B和34B六个版本，各个参数版均达到同尺寸SOTA，为不同应用场景提供了丰富的选择。 其中，Ovis2-34B在权威评测榜单OpenCompass上展现出了卓越的性能。在多模态通用能力榜单上，Ovis2-34B位列所有开源模型第二，以不到一半的参数尺寸超过了 ………………………………