【论文解读】AAAI 2020 持续学习语义理解框架ERNIE 2.0

来自：百度NLP2月初，人工智能领域的顶级会议AAAI 2020已在美国纽约召开，百度共有28篇论文入选。NLP预训练领域入选论文《ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding》被选为Oral展示。该论文提出了持续学习的语义理解框架，该框架可增量学习海量数据中的知识，持续提升语义理解效果，本文将对其展开解读。 基于该框架，ERNIE 2.0模型通过命名实体预测、句子排序结构重建、语义逻辑关系预测等预训练任务学习词法、结构、语义等多个维度知识，大幅提升了通用语义理解水平。去年12月，基于ERNIE 2.0改进的模型在权威榜单GLUE上首次突破90大关，超越人类基线3个点，获得全球第一。 论文地址：https://arxiv.org/abs/1907.12412Github地址：https://github.com/P ………………………………