大模型轻量化里程碑 | ACCM在LLaVA-1.5实现93.5%剪枝，7大基准平均提升5.5%

主要观点总结

本文提出了一种自适应内容补偿方法（ACCM）来解决大型视觉语言模型（LVLMs）在高剪枝率下计算成本高昂和性能严重退化的问题。ACCM通过轻量级描述模型和选择器，根据用户指令生成与问题相关的描述，并选择最符合上下文的描述来补充丢失的视觉信息。ACCM以自监督的方式训练，无需人工或自动化标注。在多个基准和LVLMs上的实验结果表明，ACCM显著优于现有方法，具有更低的FLOPs，并能有效缓解性能退化。

关键观点总结

关键观点1: ACCM解决大型视觉语言模型在高剪枝率下的问题

ACCM通过生成与问题相关的描述，并选择最符合上下文的描述来补充丢失的视觉信息，以减轻高剪枝率下的性能退化。

关键观点2: ACCM包含轻量级描述模型和选择器

描述模型在用户指令的指导下生成与问题相关的描述，选择器从多个候选中识别出最符合上下文的描述。

关键观点3: ACCM以自监督的方式训练

ACCM无需人工或自动化标注，通过直接偏好优化（DPO）联合优化描述模型和选择器。

关键观点4: 实验结果

在多个基准和LVLMs上的实验结果表明，ACCM显著优于现有方法，具有更低的FLOPs，并能有效缓解性能退化。