专栏名称: PaperWeekly
PaperWeekly是一个分享知识和交流学问的学术组织,关注的领域是自然语言处理的各个方向。我们热爱知识,分享知识,希望通过我们大家的努力为自然语言处理的发展做出一点点贡献。我们每周会分享一期特定话题的论文笔记和本周值得读的相关论文。
今天看啥  ›  专栏  ›  PaperWeekly

ACL 2020 | 多编码器是否能够捕获篇章级信息?

PaperWeekly  · 公众号  · 科研  · 2020-06-25 10:12
©PaperWeekly 原创 · 作者|李北单位|小牛翻译 / 东北大学NLP实验室研究方向|神经机器翻译、深层网络建等 本文验证了多编码器在篇章级翻译任务上性能的提升并不是来源于上下文编码器对篇章级语义信息的编码,其更像是一个噪声生成器,为模型的训练提供了额外的训练信号。其次,在解码阶段屏蔽上下文编码器对 BLEU 并没有影响,进一步证明了上下文编码器在训练中类似于 dropout 作用。此外,本文提出一种基于高斯噪声的鲁棒性训练手段,可以达到和多编码器可比的性能,并在不同规模数据集上验证了方法的有效性。本文已被 ACL 2020 收录。论文标题:Does Multi-Encoder Help? A Case Study on Context-Aware Neural Machine Translation论文来源:ACL 2020论文链接:https://arxiv.org/abs/2005. ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照