你确定你的预训练方法真的用对了吗？微软研究院提出全新的预训练方法

点击下方卡片，关注「集智书童」公众号最近深度学习算法的一个趋势是训练参数数量众多、在大型数据集上训练的大规模模型。然而，这些大规模模型在面对真实世界情境时的稳健性仍然是一个较少被探讨的话题。在这项工作中，作者首先对这些模型在不同扰动和数据集下的性能进行基准测试，从而代表了真实世界的变化，并突出了它们在这些变化下性能的下降。然后，讨论了基于完整模型微调的现有稳健性方案可能不是一个可扩展的选项，因为非常大规模的网络可能会忘记一些期望的特性。最后，提出了一种简单且具有成本效益的方法来解决这个问题。它涉及到对较小的模型进行稳健化，以较低的计算成本，然后将它们用作调整部分这些大规模网络的教师，减少整体计算负担。作者在各种视觉扰动下评估了作者提出的方法，包括ImageNet-C、R、S ………………………………