「知识蒸馏+持续学习」最新综述！哈工大、中科院出品：全新分类体系，十大数据集全面实验

文章预览

   新智元报道   编辑：LRST 【新智元导读】 最新综述论文探讨了知识蒸馏在持续学习中的应用，重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘问题。通过在多个数据集上的实验，验证了知识蒸馏在巩固记忆方面的有效性，并指出结合数据回放和使用separated softmax损失函数可进一步提升其效果。 知识蒸馏（Knowledge Distillation, KD）已逐渐成为持续学习（Continual Learning, CL）应对灾难性遗忘的常见方法。 然而，尽管KD在减轻遗忘方面取得了一定成果，关于KD在持续学习中的应用及其有效性仍然缺乏深入的探索。 图1 知识蒸馏在持续学习中的使用 目前，大多数现有的持续学习综述主要从不同方法的分类角度出发，聚焦于图像分类领域或其他应用领域，很少有综述文章专门探讨如何通过具体技术（如知识蒸馏）来缓解持续学习中的遗忘问题。 现有 ………………………………