论文浅尝 | 融入知识的弱监督预训练语言模型

论文笔记整理：叶群，浙江大学计算机学院，知识图谱、NLP方向。   会议：ICLR 2020链接：https://arxiv.org/pdf/1912.09637.pdf Abstract预训练语言模型不仅在传统的语言学任务上取得了很好的表现，在一些涉及到背景知识的任务上，也取得了一些提升。本文首先在zero-shot fact completion任务上探究了预训练语言模型捕获知识的能力，并提出了一种弱监督的训练目标，使模型学习到更多的背景知识。在新的预训练方式下，模型在fact completion任务上取得了显著的提升。下游任务表现中，在QA和entity typing两个任务上分别比BERT提升2.7和5.7个百分点。Introduction预训练语言模型例如ELMo, BERT和XLNet在大量的NLP任务上取得了新的SOTA。在大规模的自监督训练过程中，预训练模型学习到了句法和语义 ………………………………