480万标记样本：Facebook提出「预微调」，持续提高语言模型性能

  新智元报道 来源：venturebeat编辑：yaxin【新智元导读】近日，Facebook的研究人员提出了一种能够改善训练语言模型性能的方法——预微调，在大约50个分类、摘要、问答和常识推理数据集上进行了480万个标记样本。机器学习研究人员在自我监督的语言模型预训练方面取得了非凡的成功。自监督学习是不需要标记数据而进行训练。预训练是指通过一项任务来训练模型，并可应用于其他任务。 这样，预训练就模仿了人类处理新知识的方式。也就是说，通过使用以前学习过的任务参数，模型可以学习适应新的和不熟悉的任务。 但是，对于许多自然语言任务，存在针对相关问题的训练示例。 为了利用这些优势，Facebook的研究人员提出了一种训练语言模型的方法——预微调 ………………………………