【CVPR2024】视觉-语言模型的高效测试时间调整

来源：专知本文为论文介绍，建议阅读5分钟我们设计了TDA，一个无需训练的动态适配器，使视觉-语言模型能够有效且高效地进行测试时间的适应性调整。在测试时使用预训练的视觉-语言模型进行适应性调整已经吸引了越来越多的关注，以解决测试时的分布偏移问题。尽管之前的研究已经取得了非常有希望的表现，但它们涉及到的计算量非常大，这与测试时间的适应性调整严重不符。我们设计了TDA，一个无需训练的动态适配器，使视觉-语言模型能够有效且高效地进行测试时间的适应性调整。TDA利用轻量级的键-值缓存，维护一个动态队列，队列中的值为少量样本的伪标签，对应的测试样本特征作为键。利用键-值缓存，TDA允许通过逐步精炼伪标签来逐渐适应测试数据，这种方式超级高效，不需要任何反向传播。此外，我们引入了负伪标签，通过为某 ………………………………