谷歌更新Transformer架构，更节省计算资源！50%性能提升

明敏 发自 凹非寺量子位 | 公众号 QbitAI谷歌终于更新了Transformer架构。最新发布的Mixture-of-Depths（MoD），改变了以往Transformer计算模式。它通过动态分配大模型中的计算资源，跳过一些不必要计算，显著提高训练效率和推理速度。结果显示，在等效计算量和训练时间上，MoD每次向前传播所需的计算量更小，而且后训练采样过程中步进速度提高50%。这一方法刚刚发布，就马上引发关注。MoE风头正盛，MoD已经来后浪拍前浪了？还有人开始“算账”：听说GPT-4 Turbo在Blackwell上提速30倍，再加上这个方法和其他各种加速，下一代生成模型可以走多远？所以MoD如何实现？迫使大模型关注真正重要信息这项研究提出，现在的大模型训练和推理中，有很多计算是没必要的。比如预测下一个句子很难，但是预测句子结束的标点符号很简单。如果给它们分配同样的计算资 ………………………………