谷歌开源进化版Transformer！基于神经网络架构搜索，训练更快、效果更好

作者 | Rani Horev 译者 | Maglish 编辑 | Natalie AI 前线导读： 谷歌大脑的新论文 《The Evolved Transformer》 提出了首个用于改进 Transformer 的神经网络架构搜索算法（NAS）。Transformer 是许多自然语言处理任务的最流行的网络架构之一。该论文使用基于锦标赛选择的进化算法，通过网络搜索算法得到进化版 Transformer。新的网络结构比原来的 Transformer 取得了更好的表现，并且减少了所需要的训练时间。本文是 AI 前线第 72 篇论文导读，带你一起探究进化版 Transformer 背后的秘密。更多优质内容请关注微信公众号“AI 前线”（ID：ai-front） 神经网络架构搜索（Neural architecture search，NAS）是通过算法搜索来实现神经网络新架构的方法。虽然多年来研究人员已经手动开发出了各种 ………………………………