首个快速知识蒸馏的视觉框架：ResNet50 80.1%精度，训练加速30%

文章预览

关注并星标 从此不迷路 计算机视觉研究院 公众号ID ｜ ComputerVisionGzq 学习群 ｜ 扫码在主页获取加入方式 论文和项目网址：http://zhiqiangshen.com/projects/FKD/index.html 代码：https://github.com/szq0214/FKD 计算机视觉研究院专栏 今天介绍一篇来自卡耐基梅隆大学等单位的一篇关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30% 以上，是目前精度和速度双双最优的知识蒸馏策略之一，代码和模型已全部开源！ 转自《机器之心》 知识蒸馏（KD）自从 2015 年由 Geoffrey Hinton 等人提出之后，在模型压缩，视觉分类检测等领域产生了巨大影响，后续产生了无数相关变种和扩展版本，但是大体 ………………………………