赛尔原创 | IJCAI 2019 New SOTA: 基于可迁移的BERT模型进行故事结尾预测

论文名称：Story Ending Prediction by Transferable BERT论文作者：李忠阳，丁效，刘挺原创作者：哈工大 SCIR 博士生 李忠阳下载链接：http://ir.hit.edu.cn/~zyli/papers/ijcai19.pdf1. 简介最近的研究进展显示通过集成一个预训练好的语言模型和微调操作可以提升下游NLP系统的性能，例如GPT和BERT模型。然而，这一框架仍存在一些基本问题，例如不能够有效利用其它语义相关任务可以提供的有监督信息。在这篇论文中，我们展示了一个叫做Transferable BERT （TransBERT）的训练框架。对于一个目标任务，它不仅可以学习大规模未标注数据中的通用语言知识，而且可以有效利用各种语义相关任务提供的有监督信息。具体地，针对故事结尾预测任务，我们提出了三种语义相关的中间迁移任务，包括自然 ………………………………