做NLP？Don’t Stop Pretraining！

很多朋友都知道，在训练下游任务之前先在任务的语料上做一下非监督的masked language model任务预训练可提高目标任务的性能。特别是当下游任务的标注数据少，相关语料多的情况下这个小技巧带来的提升更大。举个例子，假设你要做一个恶意评论分类器，但由于时间和成本关系，只标注了几万条评论，但系统里的评论已经有几百万条，这时候先在所有评论上做个MLM训练，再finetune恶意评论分类任务就是个比较好的选择。这个问题多年前论文Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks[1]做了比较详细的探讨。如下图所示，虽然现代化的Transformer语言模型都是由海量数据训练的，已经很强，但难免跟我们目标任务的语料领域无法完全重叠。目标域与预训练语言模型的领域往往不完全重合论文还做了定量的分析，它们选了几个领域，然后 ………………………………