全新MoE架构！阿里开源Qwen3-Next，训练成本直降9成

主要观点总结

本文介绍了阿里通义团队发布并开源的下一代基础模型架构Qwen3-Next，该模型在训练、推理性价比上实现了重大突破。文章详细阐述了Qwen3-Next的关键技术，包括混合架构、极致稀疏MoE、训练稳定性友好设计、Multi-Token Prediction等。

关键观点总结

关键观点1: Qwen3-Next模型特点

包括总参数达80B但仅激活3B即可达到高性能，采用高稀疏度的MoE架构，实现模型计算效率的重大突破。

关键观点2: 混合架构和线性注意力机制

包括Gated DeltaNet和Gated Attention的混合架构，打破了标准注意力的二次复杂度，提高了处理长上下文时的效率。

关键观点3: 训练稳定性的优化

采用多种策略提高训练稳定性，包括注意力输出门控机制消除注意力池与极大激活等现象，采用Zero-Centered RMSNorm等。

关键观点4: 推理效率的提升

通过引入原生Multi-Token Prediction (MTP) 机制并提高模型的综合性能来实现推理效率的提升。

关键观点5: 模型的优势

在各种测评中表现优秀，并且相比于其他模型，具有更高的性价比和在推理吞吐方面的优势。