AAAI 2021: 微调对小样本学习究竟起何作用？搜索或是解决方案

AI科技评论报道 编辑 | 陈大鑫AI 科技评论 今天给大家介绍一篇想法简单但是很有意思的文章，是研究 fine-tuning 在 few-shot 任务上的工作机制，论文发表于AAAI 2021，作者来自于CMU，HKUST和 IIAI：文章的动机非常明确：如下图，在 few-shot 任务上，我们通常会有一个 base set（有大量数据）和一个 novel set（只有少量数据），base set 里面的数据类别跟 novel set 是没有重叠的。我们通常需要在base set上训练我们的基础模型用来作为特征提取器，然后在novel set上进行微调等操作，这跟常见的迁移学习（transfer learning），比如从 ImageNet 迁移到细粒度分类数据集上的做法是相似的。对于few-shot问题，之前的做法在做微调（fine-tuning）过程整个网络的权重通常是固定不变的，而只是去学习最后 ………………………………