收藏 | 一文带你总览知识蒸馏，详解经典论文

「免费学习 60+ 节公开课：投票页面，点击讲师头像」作者：凉爽的安迪来源 | 深度传送门（ID：deep_deliver）【导读】这是一篇关于【知识蒸馏】简述的文章，目的是想对自己对于知识蒸馏学习的内容和问题进行总结。笔者挑选了部分经典的paper详读，希望对于对KD有需求的同学提供一个概览和帮助。引子昆虫记里写道：”蝴蝶以毛毛虫的形式吃树叶积攒能量逐渐成长，最后变换成蝴蝶这一终极形态来完成繁殖”。虽然蝴蝶和毛毛虫两者本质是同一种生物，但是面对不同环境和任务的时候，形态不同——毛毛虫形态下可以更方便地吃树叶，保护自己，积蓄能量；而蝴蝶能飞，可以扩大活动范围，提高繁殖几率。图1，毛毛虫变成蝴蝶在监督学习里也是这样的，在训练模型 ………………………………