高效评估多模态预训练对齐质量，中科大提出模态融合率MIR

主要观点总结

文章介绍了机器之心AIxiv专栏及其促进学术交流与传播的职能，以及投稿相关信息。重点介绍了一篇关于多模态大模型预训练质量评估的研究，提出了用于评估多模态大模型预训练质量的评估指标Modality Integration Rate（MIR）。文章还介绍了研究背景、技术方案、实验探究等内容。

关键观点总结

关键观点1: 机器之心AIxiv专栏介绍及投稿信息

机器之心AIxiv专栏是发布学术、技术内容的栏目，过去数年接收了2000多篇内容，覆盖全球各大高校与企业的顶级实验室。投稿邮箱为liyazhou@jiqizhixin.com和zhaoyunfeng@jiqizhixin.com。本文作者来自中国科学技术大学、上海人工智能实验室和香港中文大学。

关键观点2: 多模态大模型预训练质量评估的挑战

多模态预训练的评估是业界一个未被充分解决的挑战。现有最常用的评估手段是通过进一步的有监督微调（SFT）来测试在下游基准上的模型能力，但计算成本和复杂性较高。另外一些方法如损失值Loss、困惑度PPL和上下文In-Context评估等，在多模态预训练评估中的可靠性和稳定性有待提高。

关键观点3: 模态融合率（MIR）的提出及应用

针对上述问题，研究团队提出了用于评估多模态大模型预训练质量的评估指标——模态融合率（MIR）。MIR能够准确反映各种预训练配置对模型性能的影响，无需再进行有监督微调（SFT）。通过在不同规模的高质量预训练数据上进行实验，证明了MIR的有效性和适用性。

关键观点4: 技术方案设计及实验探究

文章介绍了技术方案的设计过程，包括文本中心归一化、离群值筛除等步骤。同时，通过一系列实验探究了MIR在扩大预训练数据规模、超参数调整、预训练策略选择等方面的有效性。实验结果表明，MIR与下游测试基准性能之间存在正相关，可以有效指导预训练策略的选择和模块设计。

免责声明