谷歌、CMU重磅论文：Transformer升级版，评估速度提升超1800倍！

  新智元报道  来源: arxiv编辑：肖琴【新智元导读】CMU、谷歌大脑的研究者最新提出万用NLP模型Transformer的升级版——Transformer-XL。这个新架构在5个数据集上都获得了强大的结果，在评估中甚至比原始Transformer快1800+倍。研究人员公开了代码、预训练模型和超参数。Transformer是谷歌在2017年提出的一个革新性的NLP框架，相信大家对那篇经典论文吸睛的标题仍印象深刻：Attention Is All You Need。自那以来，业内人士表示，在机器翻译领域，Transformer 已经几乎全面取代 RNN。总之 Transformer 确实是一个非常有效且应用广泛的结构，应该可以算是自 seq2seq 之后又一次 “革命”。最近，CMU的Zihang Dai，Yiming Yang，Jaime Carbonell，Ruslan Salakhutdinov，以及谷歌的Zhilin Yang(杨值麟)，William W. Cohen和 ………………………………