【CIKM2024】使用大型视觉语言模型的多模态虚假信息检测

主要观点总结

本文研究了在零样本设置下使用大型语言模型（LLMs）和大型视觉语言模型（LVLM）进行虚假信息检测的方法。文章强调了证据检索的重要性，并提出了一种多模态证据检索重排序方法。实验结果表明，该方法在证据检索和事实验证任务中表现优越，且泛化能力强。

关键观点总结

关键观点1: 研究背景

虚假信息的日益泛滥及其带来的严重影响，促使工业界和学术界开发虚假信息检测和事实核查的方法。近年来，大型语言模型在各类任务中表现出色，但在虚假信息检测方面的应用仍需探索。

关键观点2: 现有方法的问题

大多数现有方法要么不考虑证据，仅关注与声明相关的特征，要么假定证据已经提供。少数方法将证据检索作为虚假信息检测的一部分，但依赖于微调模型。

关键观点3: 本文的研究内容

提出了一种新的使用LLMs和LVLM的多模态证据检索重排序方法，将证据检索组件纳入虚假信息检测流程。解决证据样本真值的不完整问题，并通过实验验证所提出的方法在证据检索和事实验证任务中的优越性。

关键观点4: 实验及结果

在两个数据集上的实验结果表明，所提出的方法在证据检索和事实验证任务中均表现优越，并且在跨数据集的泛化能力方面也优于有监督的基线。