ELMo的朋友圈：预训练语言模型真的一枝独秀吗？

选自arXiv作者：Samuel R. Bowman等机器之心编译参与：刘晓坤、思源自然语言处理的预训练任务该选哪一个？语言模型真的是一种通用的预训练方法吗？这篇论文告诉我们，通用的 NLP 预训练模型是我们想多了。不同的目标任务需要不同的预训练模型，而预训练语言模型甚至会损伤某些任务的性能。不过在没有更好的方案前，预训练语言模型还是最好的选择。用于自然语言处理任务（如翻译、问答和解析）的最先进模型都具有旨在提取每个输入句子含义和内容表征的组件。这些句子编码器组件通常直接针对目标任务进行训练。这种方法可以在数据丰富的任务上发挥作用，并在一些狭义定义的基准上达到人类水平，但它只适用于少数具有数百万训练数据样本的 NLP 任务。这引 ………………………………