GLUE排行榜上全面超越BERT的模型近日公布了！

选自arXiv作者：Xiaodong Liu机器之心编译参与：贾伟 在通用语言理解评估（GLUE）基准中，自 BERT 打破所有 11 项 NLP 的记录后，可应用于广泛任务的 NLP 预训练模型得到了大量关注。2018 年底，机器之心介绍了微软提交的综合性多任务 NLU 模型，它在 11 项 NLP 任务中有 9 项超越了 BERT，近日微软公布论文介绍了这种名为 MT-DNN 的多任务模型。当前 GLUE 排行榜（2019.02.12）GLUE 榜单链接：https://gluebenchmark.com/leaderboard学习文本（例如单词和句子）的向量空间表示是许多自然语言理解（NLU）任务的基础。目前有两种流行的方法，分别是多任务学习和语言模型预训练。人类学习活动中经常用先前任务中学习到的知识来帮助学习新的任务，多任务学习（MTL）正是有这样的优点。最近人们 ………………………………