本文翻译自：https://www.amazon.science/blog/when-does-transfer-learning-work
迁移学习（Transfer Learning）是一种广泛应用的技术，可以在训练数据较少的情况下提高神经网络的性能。在对数据有限的目标任务进行网络训练之前，可能需要对数据更丰富的源任务进行预训练。它从预训练中获得的知识将被迁移到目标任务中。
迁移学习何时有效，何时无效？如果你要进行迁移学习，你应该用什么样的任务进行预训练？解决这些问题和相关的问题是可迁移性度量（transferability metrics）的目的，它衡量一个预先训练的网络对新任务的适用性。
在2020年的ICML（International Conference on Machine Learning）会议上，我和我的同事们提出了一个新的可迁移性指标，在我们的实验中，与现有指标相比，该指标被证明是可迁移性的更好预测指标。
它也比现有的度量标准更通用：它是有理论依据的，并且不像以前的度量标准那样，对源任务和目标任务的相关性做出强有力的假设。
在本文中，我们提供了理论分析，表明我们的指标，称之为LEEP（Log Expected Empirical Prediction），应该提供可迁移性的良好估计。
我们还进行了一系列的实证测试，在23种不同的迁移设置下，将我们的指标与之前发表的两个工作进行了比较，其中设置结合了三种类型的迁移学习，两个图像识别源任务和目标任务，目标任务为两个训练数据的不同子集上进行图像识别。
在这23次比较中，有15次LEEP的预测比其他两项指标的预测更符合迁移模型的最终准确性。在某些情况下，差异是巨大的，比第二好的指标提高了30%。
从下面的图表中可以看出，显示了我们对两个不同源数据集的结果，LEEP与迁移模型的最终精度非常相关。
利用两种不同的源数据集和两种迁移方法，研究了新的迁移性性度量（LEEP）与迁移模型精度之间的关系。
在一种迁移方法（fine-tune）中，使用新任务的数据对整个网络进行微调；在另一种方法（retrain head）
中，只对网络的一部分（the head, or classifier）进行重新训练。
复制代码我们考虑的另外一个环境是元迁移学习（Meta-Transfer Learning），它是迁移学习和元学习（Meta Learning）的结合。通过元迁移学习，单个深度学习模型可以适应训练过程中的许多新任务，从而使它能够在很少数据的情况下适应不可见的任务。
在这项任务中，LEEP与最终模型精度的相关系数是0.591，而其他方法的相关系数是0.310和0.025。我们认为LEEP是第一个适用于元迁移学习的迁移性指标。
如何计算LEEP
LEEP度量一个经过训练的机器学习模型和一个新任务的标记数据集之间的可迁移性。例如，假设模型经过训练，能够识别陆地动物的图像，目标任务是识别海洋动物。
LEEP过程的第一步是使用训练模型对目标任务训练集中的数据进行分类。由此产生的分类是虚拟标签（dummy labels）：例如，陆地动物分类器可能会将海豹识别为狗，将海马识别为长颈鹿。但这对于可迁移性预测来说并不重要。
对于训练集中的每个样本，我们都有正确的标签，因此下一步是在给定训练模型的虚拟分类的情况下，计算目标任务标签的条件概率，即被分类为狗的样本实际上是海豹，海马，鲨鱼等的概率。
最后，我们想象一个分类器，它将根据该条件分布为每个输入随机选择一个虚拟标签，并在该虚拟标签的基础上随机选择一个目标任务标签。
LEEP首先将经过源任务（例如，识别陆生动物）训练的分类器应用于目标任务（例如，识别海洋动物）的数
据集。 根据得出的分类，它根据给定的特定源任务分类（例如狗，马，长颈鹿）计算出特定目标任务分类
（例如海豹）的概率。
复制代码LEEP是这个假设分类器对目标任务训练集中的数据的平均对数似然（average log-likelihood）。对数似然是衡量统计模型与特定数据样本集合的拟合程度的标准度量，因此LEEP告诉我们假设分类器与目标任务训练集的拟合程度。这使得它不仅是一个精确的指标，而且是一个易于解释的指标。
LEEP的潜在应用
我们相信LEEP有几个潜在的应用。
首先，它可以用来选择迁移学习的源模型。它还可以帮助选择一组具有高度可迁移性的任务进行多任务学习（Multitask Learning），在多任务学习中，一个机器学习模型可以同时训练多个任务。
LEEP还可以用于超参数的传递和优化，超参数是机器学习模型的结构特征或学习算法的参数，有助于最大限度地提高对特定数据的训练效果。
原文链接--LEEP: A New Measure to Evaluate Transferability of Learned Representations
本文正在参与「掘金 2021 春招闯关活动」, 点击查看 活动详情
