中科院，CMU，Meta等联合出品：去除LLM先验对多模态大模型的负面影响

大型视觉语言模型在近期发展迅速（LVLMs），他们使用图像-文本对进行预训练或使用专门的视觉指导调整数据集进行微调，将大语言模型（LLM）拓展为了处理文本和图像的多模态模型。尽管这些模型擅长理解复杂的视觉模式并将其转化为语言，来自中科院，CMU，阿里巴巴，squirrel AI 以及 Meta AI 的研究人员揭示了一个显著问题。由 LVLMs 生成的内容在很大程度上偏向于在预训练期间使用的底层 LLMs，而不是受到输入图像的影响。即使在图像完全噪声或不存在的情况下，LVLMs 也会生成置信度很高的答案，表明了 LVLM 存在一种对 LLM 先验的偏见。针对这个问题，作者提出了两种通过 training-free 的思路进行 debias。论文链接：https://arxiv.org/abs/2403.05262代码链接：https://github.com/yfzhang114/LLaVA-AlignExploring the Impact of LLM Biases on LVLMs为了评估 LLM 偏见对 LVLMs 的影响，本 ………………………………