NIPS 2024 | ScaleKD：强大的视觉Transformer可以是优秀的教师

主要观点总结

本文介绍了ScaleKD论文，探讨了是否可以使用经过良好预训练的视觉Transformer（ViT）模型作为教师，展示其可扩展的特性，以推动跨架构知识蒸馏研究。文章提出了三个紧密耦合的组件：跨注意力投影器（CAP）、双视图特征模仿（DFM）和教师参数感知（TPP），以实现知识蒸馏的简单有效方法。

关键观点总结

关键观点1: 论文创新点

提出了跨架构知识蒸馏的方法，使用强大的视觉Transformer作为教师模型进行知识蒸馏；提出了跨注意力投影器（CAP）、双视图特征模仿（DFM）和教师参数感知（TPP）三个组件，以缩小不同架构之间的特征计算范式差异，实现知识的有效传递。

关键观点2: 方法介绍

给定一个预训练的ViT教师模型和一个目标学生模型（CNN或MLP或ViT），通过特征蒸馏的形式进行知识传递。三个核心组件包括跨注意力投影器（CAP）、双视图特征模仿（DFM）和教师参数感知（TPP），这些组件之间紧密耦合，共同实现知识蒸馏的目标。

关键观点3: 实验结果

使用所提出的ScaleKD方法，在ImageNet-1K数据集上训练的学生模型获得了显著的准确率提升。同时，该方法展示了可扩展特性，教师模型的规模和预训练数据集的规模扩大时，为学生模型带来了越来越大的增益。此外，使用该方法训练的学生骨干在下游的MS-COCO和ADE20K数据集上具有良好的迁移能力。