摩尔线程携手无问芯穹：基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成

文章预览

摩尔线程联合无问芯穹宣布，双方已在本周正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”，在摩尔线程夸娥（KUAE）千卡智算集群与无问芯穹AIStudio PaaS平台（https://cloud.infini-ai.com/aistudio）上完成了高效稳定的训练。 本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。 MT-infini-3B模型训练总用时13.2天，经过精度调试，实现全程稳定训练不中断，集群训练稳定性达到100%，千卡训练和单机相比扩展效率超过90%。 目前，实训出来的MT-infini-3B性能在同规模模型中跻身前列，相比在国际主流硬件上训练而成的其他模型，在C-Eval，MMLU，CMMLU等3个测试集上均实现性能领先。 MT-infini-3B性能表现 无问芯穹联合创始人兼CEO夏立雪 ………………………………