GPT-4可信度有几何？清华朱军团队领衔发布多模态评估综合基准MultiTrust

文章预览

以 GPT-4o 为代表的多模态大语言模型（MLLMs）因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手，还逐渐渗透到自动驾驶、医学诊断等各大应用领域，掀起了一场技术革命。   然而，多模态大模型是否安全可靠呢？   ▲ 图1. 对抗攻击GPT-4o示例 如图 1 所示，通过对抗攻击修改图像像素，GPT-4o 将新加坡的鱼尾狮雕像，错误识别为巴黎的埃菲尔铁塔或是伦敦的大本钟。这样的错误目标内容可以随意定制，甚至超出模型应用的安全界限。 ▲ 图2. Claude3越狱示例 而在越狱攻击场景下，虽然 Claude 成功拒绝了文本形式下的恶意请求，但当用户额外输入一张纯色无关图片时，模型按照用户要求输出了虚假新闻。这意味着多模态大模型相比大语言模型，有着更多的风险挑战。 除了这两个例子以外，多模态大模型 ………………………………