专栏名称: AI科技评论
「AI科技评论」是国内顶尖人工智能媒体和产业服务平台,专注全球 AI 业界、学术和开发三大方向的深度报道。
今天看啥  ›  专栏  ›  AI科技评论

源和目标语句不再独立,联合表示更能提升机器翻译性能

AI科技评论  · 公众号  · AI  · 2020-02-15 14:00
作者 | 李炎洋责编 | 贾伟目前,神经机器翻译模型主要基于编码器-解码器框架,其中编码器把源语句编码成一个连续表示,解码器把这个连续表示解码成目标语。Figure 1编码器-解码器框架可以看到,编码器-解码器框架的一个明显缺陷在于它把源语句跟目标语句分开进行处理,因此不能直接建模源语句跟目标语句之间的关系。比如,编码器只把源语句作为输入,而解码器只把目标语句作为输入。最近提出的注意力机制通过桥接编码器跟解码器可以部分解决这个问题。Figure 2注意力机制当翻译“intensive“这个词的时候,注意力机制计算这个目标词与每个源语词之间的关系,从而直接建模了源语句与目标语句之间的关系。但是我们也可以看到,注意力机制只计算了一个目标 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照