CVPR 2025 | DeCLIP：解耦CLIP注意力，哈工大（深圳）、港大提出通用开放词汇密集感...

主要观点总结

文章介绍了目标检测、实例分割等密集视觉感知任务的现状，以及CLIP等视觉语言模型在开放词汇任务上的应用及其局限性。针对CLIP在密集感知任务中性能不佳的问题，哈尔滨工业大学（深圳）和香港大学的研究团队提出了名为DeCLIP的新框架，通过解耦学习策略显著增强CLIP在像素级别的开放词汇表示能力。DeCLIP框架包括内容特征和上下文特征的解耦，以及利用VFM和扩散模型的知识蒸馏。在多种下游任务中取得了显著成果，为将大规模预训练的VLM适配到下游密集任务提供了一个范例。

关键观点总结

关键观点1: CLIP在密集感知任务中的局限性

CLIP在深层注意力模式方面存在退化问题，导致其在像素级别的密集感知任务中性能不佳。

关键观点2: DeCLIP框架的提出

为了解决CLIP的局限性，研究团队提出了DeCLIP框架，通过解耦内容和上下文特征，实现对CLIP密集表示能力的根本性增强。

关键观点3: DeCLIP如何利用VFM和扩散模型的知识蒸馏

DeCLIP引入强大的“教师”模型进行知识蒸馏，融合VFM与扩散模型，通过SD引导的语义补全，创新地利用扩散模型来提升VFM的语义图质量。

关键观点4: DeCLIP的实验结果

DeCLIP在六大类任务上进行了全面评估，包括2D检测与分割、3D实例分割、视频实例分割、6D物体姿态估计等，并取得了SOTA性能。

关键观点5: 论文总结与价值

论文揭示了CLIP在密集感知任务中的核心局限，并提出了创新的DeCLIP框架，为将大规模预训练的VLM适配到下游密集任务提供了一个极具启发性的范例。