如何兼容自训练与预训练：更高效的半监督文本分类模型

论文标题：Neural Semi-supervised Learning for Text Classification Under Large-Scale Pretraining论文作者：Zijun Sun, Chun Fan, Xiaofei Sun, Yuxian Meng, Fei Wu, Jiwei Li论文链接：https://arxiv.org/pdf/2011.08626.pdf代码链接：https://github.com/ShannonAI/Neural-Semi-Supervised-Learning-for-Text-Classification概述半监督学习是综合利用标注数据与未标注数据的学习方法。近日，香侬科技研究了如何更有效地结合半监督自训练和预训练，即如何在大规模通用领域预训练的前提下，更好地利用大规模领域内无标注语料与标注语料，从而最大限度地提升模型效果。这涉及到一系列问题：在大规模通用语料下训练的模型是否仍然需要在上训练？如何利用？是像BERT一样预训练，还是用伪标签的自训练方法？在不同的和条件下，不同的训练 ………………………………