学界 | ICLR 2019 遗珠？加大号「变形金刚」，Transformer-XL

AI 科技评论按：近几天，一篇 ICLR 2019 的拒稿引起了部分研究人员的注意。它不仅是一个能够处理可变长度序列的模型，在多个任务中刷新了当前的最好性能，而且它还是 Transformer 模型的第三代升级。它的名字叫作「Transformer-XL」（加大号的 Transformer）。前两代 Transformer2017 年 6 月，谷歌大脑在论文《Attention Is All You Need》（论文地址：https://arxiv.org/abs/1706.03762）中提出了一个完全基于注意力机制的编解码器模型 Transformer ，它完全抛弃了之前其它模型引入注意力机制后仍然保留的循环与卷积结构，然后在任务表现、并行能力和易于训练性方面都有大幅的提高。Transformer 从此也成为了机器翻译和其它许多文本理解任务中的重要基准模型。2018 年 7 月，谷歌大脑在新论文《 ………………………………