想在PyTorch里训练BERT，请试试Facebook跨语言模型XLM

晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI今年2月，Facebook发表了论文《Cross-lingual Language Model Pretraining》，这篇论文提出了基于BERT优化的跨语言模型XLM，它刚刚出生就在两项机器翻译任务上取得了巨大进步。在无人监督的机器翻译中，XLM在WMT’16的德语-英语上获得了34.3 BLEU，比之前的技术水平提高了9个以上BLEU。然而这只是在单个应用领域的成绩，XLM更全面的性能测试结果如何呢？就在昨天，论文的两位作者提交了GLUE测试得分，在使用相同的数据 (Wiki/TBC)的情况下，没有下一句预测任务，XLM新模型在所有提交的GLUE任务上均优于BERT。为何能比BERT性能更好，论文作者之一Guillaume说：是因为更大的维度，以及没有下一句预测。XLM项目Facebook已经在GitHub上更新了的XLM项目 ………………………………