《多模态大语言模型视觉提示》综述

主要观点总结

多模态大语言模型（MLLMs）通过融合视觉能力，实现了在复杂多模态任务上的视觉理解和推理。然而，传统文本提示存在局限性，视觉提示作为新范式，补充了文本提示，使模型能够进行更细粒度和像素级的指令。我们首次全面调研了MLLMs中的视觉提示方法，重点讨论视觉提示、提示生成、组合推理和提示学习。我们对现有的视觉提示进行分类，并讨论了用于自动标注图像的生成方法。同时，我们考察了使视觉编码器与基础LLMs更好对齐的视觉提示方法，涉及MLLM的视觉基础、对象引用和组合推理能力。此外，我们总结了改善MLLM对视觉提示的感知和理解的模型训练及上下文学习方法。本文探讨了MLLMs中开发的视觉提示方法，并展望了这些方法的未来。

关键观点总结

关键观点1: 多模态大语言模型（MLLMs）的视觉提示方法

MLLMs通过融合视觉能力，实现了在复杂多模态任务上的视觉理解和推理。视觉提示作为新范式，补充了文本提示，使模型能够进行更细粒度和像素级的指令。

关键观点2: 视觉提示的分类和生成

我们对现有的视觉提示进行分类，并讨论了用于自动标注图像的生成方法，包括边界框、标记、像素级和软提示。

关键观点3: 视觉提示与模型对齐

我们考察了使视觉编码器与基础LLMs更好对齐的视觉提示方法，涉及MLLM的视觉基础、对象引用和组合推理能力。

关键观点4: 模型训练和上下文学习

我们总结了改善MLLM对视觉提示的感知和理解的模型训练及上下文学习方法，包括预训练、微调和指令调优。

关键观点5: 未来展望

我们探讨了MLLMs中开发的视觉提示方法，并展望了这些方法的未来，鼓励利用视觉提示来改进 MLLM 的组合推理能力。

免责声明