单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE

文章预览

MLNLP 社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。 社区的愿景 是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。 转载自 | 机器之心 编辑 | 泽南、杜伟 释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。 标准 Transformer 架构中的前馈（FFW）层会随着隐藏层宽度的增加而导致计算成本和激活内存的线性增加。在大语言模型（LLM）体量不断增大的现在，稀疏混合专家（MoE）架构已成为解决此问题的可行方法，它将模型大小与计算成本分离开来。很多新兴的 MoE 模型都可以实现相同体量之上，更好的性能与更强大的表现。 最近发现的细粒度 MoE 扩展定律表明，更高的粒度可带来更好的性能。然而由于计算和优化方面 ………………………………