学生模型反超老师模型？简单高效的蒸馏机制CrossKD：超越现有所有知识蒸馏方案！

前言 GT信号与蒸馏目标之间的优化目标不一致是预测模拟失效的关键原因？为缓解该问题，本文提出一种简单且有效的蒸馏机制CrossKD，基于MSCOCO数据集，仅需预测模拟损失，CrossKD可以将GFL-ResNet50-1x的指标从40.2提升至43.7，超越了现有所有知识蒸馏方案。Pytorch训练营，花两个星期彻底掌握代码实现CV各大方向专栏与各个部署框架最全教程整理CV全栈指导班、基础入门班、论文指导班 全面上线!!作者：happy来源：极市平台仅用于学术分享，若侵权请联系删除arXiv：https://arxiv.org/abs/2306.11369code：https://github.com/jbwang1997/CrossKD作为一种有效的模型压缩技术，知识蒸馏在多个CV领域取得了突出的成绩。目前，在检测领域，特征模仿(Feature Imitation)方案往往具有比预测模拟(Prediction Mimicking)方案具有更高的性能。在本文中，作者发现：GT信号与蒸馏目标之间的优化目 ………………………………