【NeurIPS 2025】以语言为中心的全模态表征学习的可扩展性研究

主要观点总结

本文探讨了多模态大语言模型（MLLMs）结合对比学习（CL）进行微调的多模态嵌入方法的优越性，指出其源于生成式预训练过程中隐式形成的跨模态对齐。通过实证分析，文章证实了MLLM表征内部存在潜在对齐关系，并基于此提出了一种以语言为中心的全模态嵌入框架（LCO-EMB），在多种主干网络与基准任务上取得了当前最先进的表现。文章还揭示了生成–表征缩放定律（GRSL），建立了MLLM的生成质量与表征性能之间的联系，并在低资源视觉文档检索任务上验证了相关理论。

关键观点总结

关键观点1: 多模态大语言模型结合对比学习的优越性

文章探讨了多模态大语言模型结合对比学习进行微调的方法，并指出其表现出的优越性源于生成式预训练过程中的跨模态对齐。

关键观点2: LCO-EMB框架的提出与应用

基于跨模态对齐的洞见，文章提出了一种以语言为中心的全模态嵌入框架（LCO-EMB），并在多种任务上取得了当前最先进的表现。

关键观点3: 生成–表征缩放定律（GRSL）的揭示

文章揭示了生成–表征缩放定律（GRSL），该定律表明模型的生成能力与表征质量之间存在正相关关系，并进行了理论解释和实证分析。

关键观点4: 在低资源视觉文档检索任务上的验证

文章在一个挑战性的低资源视觉文档检索任务上验证了相关理论，结果显示持续开展生成式预训练能够进一步释放模型的嵌入潜力。