已节省数百万GPU小时！字节再砍MoE训练成本，核心代码全开源

文章预览

COMET团队 投稿 量子位 | 公众号 QbitAI 字节对MoE模型训练成本 再砍一刀 ，成本 可节省40% ！ 刚刚，豆包大模型团队在GitHub上开源了叫做 COMET 的MoE优化技术。 COMET已应用于字节的万卡训练集群，在真实的生产环境中， 累计帮助节省了数百万GPU小时 。 早前，豆包团队发布了新一代稀疏架构UltraMem，将模型 推理成本 砍掉 83%，此次，又开源了COMET，向 模型训练 成本出手。从技术理念上看，两者还可以 结合使用，组成一套“砍价刀法” 。 具体来看，COMET主要针对的是MoE模型在分布式训练中，仍存在大量通信开销的问题。 COMET内部通过一套 细粒度计算-通信折叠 技术，并结合GPU资源的动态分配，极致压榨了MoE专家“摸鱼闲置”的时间，在大规模MoE的单个执行层上可提速 1.96倍 ，端到到平均提速 1.71倍 。 有趣的是，此前DeepSeek也专门针对MoE的通信瓶颈，开 ………………………………