【BERT与外部知识的结合】在当下的 NLP 领域，BERT 是-20200216174753

2020-02-16 17:47 本条微博链接 【BERT与外部知识的结合】在当下的 NLP 领域，BERT 是一个绕不过的话题。本文关注的重点是将外部知识注入到预训练语言模型中。作者具体探讨了下面三个问题：1）我们可以把哪些信息引入到 BERT 的预训练语料中，以使 BERT 在某些或者全部的任务上有更好的表现？ 2）如何根据这些信息的内容，针对性地设计有意义又易于实现的预训练任务？ 3）这些信息的加入是否能带来我们预期的模型提升？ 浅谈 Knowledge-Injected ………………………………