【ICML2025】LADA：用于持续学习的可扩展标签特定型 CLIP 适配器

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 = 本文提出了 LADA（Label-specific ADApter，标签特定型适配器）。 用类似 CLIP 的视觉-语言模型进行持续学习，为构建可扩展的机器学习系统提供了新途径，主要得益于其强大的可迁移表示能力。现有基于 CLIP 的方法通常通过为每个任务添加一组或多组可学习参数来适配预训练的图像编码器，推理时需选择对应任务的参数集。然而，这种做法在推理阶段容易出错，进而导致性能下降。 为解决这一问题，本文提出了  LADA（Label-specific ADApter，标签特定型适配器） 。与以往方法按任务划分参数不同，LADA 在冻结的 CLIP 图像编码器后追加了轻量级的、 标签特定的记忆单元 。这些记忆单元可整合任务无关的知识，生成更具判别性的特征表示。 为了避免 灾难性遗忘 ，LADA 针对已学习类别引入了特征蒸馏机制，防止新类 ………………………………