群魔乱舞：MoE大模型详解

↑ 点击蓝字 关注极市平台作者丨绝密伏击@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/677638939编辑丨极市平台极市导读 究竟什么是MoE大模型？MoE大模型具备哪些优势？本文就带你一探究竟。 >>加入极市CV技术交流群，走在计算机视觉的最前沿GPT-4是8个2200亿MoE模型GPT-4远不止1万亿，甚至，还是8个2200亿参数组成的混合专家模型（MoE）。2023年6月，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B模型组成。这么算来，8 x 220B = 1.76万亿。就连PyTorch的创建者Soumith Chintala对此也深信不疑。下面这张8头怪，看起来就像现在的GPT-4。MoE 应用于大模型，GPT-4并不是第一个。在2022年的时候，Google 就提出了MoE大模型Switch Transformer，模型大小是1571B，Switch Transformer在预训练任务上显示出比 T5-XXL（11B） 模型更高的样本效率。在相同的训练时间和计算资源下，Swit ………………………………