当视觉大模型陷入认知失调，马里兰大学构建了一个幻觉自动生成框架

主要观点总结

本文介绍了马里兰大学的研究团队提出的名为AutoHallusion的视觉大模型幻觉自动生成框架。该框架能够自动生成大量的大模型幻觉案例，有效缓解当前大模型幻觉研究中数据集缺乏的问题。该框架基于认知科学原理，针对大模型产生幻觉的原因，提出了三种主要策略。文章概述了大模型的幻觉现象以及AUTOHALLUSION框架的工作流程和实验结果，并介绍了该基准数据集的评估指标。

关键观点总结

关键观点1: 研究背景

随着对大模型的深入研究，研究人员发现大模型在认知和推理任务上，其思维过程与人脑有一定相似之处。针对人脑认知失调特点设计的实验也能使大模型出现类似的“幻觉”现象。

关键观点2: AUTOHALLUSION框架介绍

AUTOHALLUSION是一个视觉大模型幻觉自动生成框架，基于认知科学原理，针对大模型产生幻觉的原因，提出了三种主要策略：插入异常物体、插入成对物体和移除相关物体。该框架能够自动生成各种幻觉案例并进行批量生产，用于评估大模型的性能。

关键观点3: 实验方法和结果

研究团队在包括GPT-4V、Gemini、Claude和LLaVA等最新大模型上进行了实验，并整理发布了一个基准数据集来评估模型性能。实验结果表明，GPT-4V等大模型的问答准确率最高仅为66.0%。此外，该研究还展示了一些实验结果和基准数据集评估指标。