本文约2500字，建议阅读5分钟本文从一个独特的视角解释了现有多模态大模型幻觉产生的原因。论文题目：OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation论文地址：https://arxiv.org/abs/2311.17911代码地址：https://github.com/shikiw/OPERA1、背景从 LLaVA 到 Qwen-VL，从 GPT-4V 到 Claude 3，幻觉（Hallucination）问题一直是当前多模态大模型（MLLM）的重要问题。当前大多数的多模态大模型对于用户提供的图像和提问，容易因为幻觉给出非常离谱的回答，例如说出图像上根本不存在的事物，识别出与图像上物体的颜色、数量和位置关系不符的特征。而这一现象，在多模态大模型生成较长回答时尤其常见。试想一下，如果将有严重幻觉问题的多模态大模型部署在自动驾驶上，在高速公路上前方无车的情况下，由于模型出现前方有车
………………………………
