《多模态大型语言模型的幻觉现象》综述

来源：专知本文约5000字，建议阅读5分钟本综述旨在加深对MLLMs中幻觉的理解，并激发该领域的进一步发展。本综述全面分析了多模态大型语言模型（MLLMs）——亦称为大型视觉语言模型（LVLMs）——中的幻觉现象。这些模型在多模态任务中展示了显著的进步和非凡的能力。尽管这些发展充满希望，MLLMs常常生成与视觉内容不一致的输出，这一挑战被称为幻觉，它对模型的实际部署构成了重大障碍，并引起了对其在现实世界应用中可靠性的关注。这个问题日益受到关注，促使人们努力检测和缓解这种不准确性。我们回顾了近期在识别、评估和缓解幻觉方面的进展，提供了关于幻觉成因、评估基准、度量和应对策略的详尽概览。此外，我们还分析了当前的挑战和限制，并提出了开放性问题，勾勒出未来研究的潜在途径。通过对幻觉成因、评估基准和缓解 ………………………………