摩尔线程国产GPU重大里程碑！千卡集群完成30亿参数大模型实训

文章预览

摩尔线程、无问芯穹联合宣布，双方已经正式完成MT-infini-3B 3B(30亿参数)规模大模型的实训，基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群，以及无问芯穹的AIStudio PaaS平台。 本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。 据悉， 这次的MT-infini-3B模型训练总共用时13.2天，全程稳定无中断， 集群训练稳定性达到100％ ，千卡训练和单机相比扩展效率超过90％。 目前， 实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上(尤其是NVIDIA)训练而成的其他模型，在C-Eval、MMLU、CMMLU等3个测试集上均实现性能领先。 无问芯穹正在打造“M种模型”和“N种芯片”之间的“M x N”中间层产品，实现多种大模型算法在多元芯片上的高效 ………………………………