字节对MoE模型训练成本再砍一刀 成本可节省40%

文章预览

据上证报中国证券网报道， 3月10日，记者从字节跳动获悉，字节豆包大模型团队宣布开源针对MoE架构的关键优化技术COMET，可将大模型训练效率提升1.7倍，成本节省40%。 据悉，该技术已实际应用于字节的万卡集群训练，累计帮助节省了数百万GPU小时训练算力。针对MoE通信瓶颈，COMET通过在计算-通信重叠层面的多项创新，大幅降低了MoE流水线上的通信延迟。 同时，COMET支持业界绝大部分主流大模型，并可以像插件一样接入已有的MoE训练框架，无需进行侵入式改动，也可以与DeepSeek开源的DualPipe方案联用以更大压缩训练成本。该工作以高分入选了全球机器学习系统顶级会议MLSys2025。 来 源： 上证报中国证券网 值班编辑：喻妍 校对：张竹影 值班主任：周艳华 值班编委： 傅爱华 更多新闻 ………………………………