知识蒸馏综述：蒸馏机制

作者丨pprp来源丨GiantPandaCV编辑丨极市平台导读 这一篇介绍各个算法的蒸馏机制，根据教师网络是否和学生网络一起更新，可以分为离线蒸馏，在线蒸馏和自蒸馏。 感性上理解三种蒸馏方式：离线蒸馏可以理解为知识渊博的老师给学生传授知识。在线蒸馏可以理解为教师和学生一起学习。自蒸馏意味着学生自己学习知识。1. 离线蒸馏 Offline Distillation上图中，红色表示pre-trained, 黄色代表To be trained。早期的KD方法都属于离线蒸馏，将一个预训练好的教师模型的知识迁移到学生网络，所以通常包括两个阶段：在蒸馏前，教师网络在训练集上进行训练。教师网络通过logits层信息或者中间层信息提取知识，引导学生网络的训练。第一个阶段通常不被认为属于知识蒸馏的一部分， ………………………………