NeurIPS 2023 | 基于双重结构知识图的视觉语言模型高效迁移

来源：PaperWeekly‍本文约1500字，建议阅读5分钟本文提出了 GraphAdapter，一种基于图的高效迁移策略，通过显式地建模文本和视觉的双重结构知识图，实现对于文本分类器的微调。基于适配器（Adapter）的高效迁移方案在视觉语言模型高效迁移中取得了优异的性能。利用视觉语言模型强大的表征能力，其仅需要借助少量样本、少量参数即可挖掘适配下游任务的丰富知识。然而，如图 1，现有 Adapter 风格的高效迁移方法存在两个局限：1）仅从单一模态对下游任务的特定知识建模；2）忽视了下游任务类间关系的利用，因此导致了次优的效果。为了解决上述问题，本文提出了 GraphAdapter，一种基于图的高效迁移策略，通过显式地建模文本和视觉的双重结构知识图，实现对于文本分类器的微调。本文在 11 个标准下游任务数据集上验证了我们 GraphAdapter 的有效性 ………………………………