ICML2021 | Self-Tuning: 如何减少对标记数据的需求？

文 | 王希梅，高敬涵，龙明盛，王建民源 | THUML本文介绍ICML2021的中稿论文：Self-Tuning for Data-Efficient Deep Learning，就“如何减少对标记数据的需求”这一重要问题给出了我们的思考。论文标题：Self-Tuning for Data-Efficient Deep Learning论文链接：http://ise.thss.tsinghua.edu.cn/~mlong/doc/Self-Tuning-for-Data-Efficient-Deep-Learning-icml21.pdfGitHub链接：https://github.com/thuml/Self-Tuning引言大规模标记数据集推动深度学习获得了广泛应用，然而，在现实场景中收集足量的标记数据往往耗时耗力。为了减少对标记数据的需求，半监督学习和迁移学习的研究者们从两个不同的视角给出了自己的思考：半监督学习(Semi-supervised Learning, SSL)侧重于同时探索标记数据和无标记数据，通过挖掘无标记数据的内在结构增强模 ………………………………