小红书开源首个大模型，中文评测超越DeepSeek-V3

主要观点总结

本文介绍了小红书开源的大型语言模型dots.llm1，该模型具有1420亿参数，采用MoE（混合专家）架构。它在中英文、数学、对齐等任务上表现出色，特别是其使用11.2万亿非合成数据进行预训练，显示出通过高效设计和高质量数据扩展大型语言模型能力边界的潜力。文章还介绍了团队在数据处理、性能成本效益、基础设施和模型动力学的开放可访问性等方面的贡献。

关键观点总结

关键观点1: dots.llm1模型的特点和性能

具有1420亿参数，采用MoE架构；在多种任务上表现出与阿里Qwen3-32B接近的性能；预训练使用了11.2万亿非合成数据；仅激活14B参数即可实现高效推理。

关键观点2: 数据处理和训练方法的创新

团队提出了可扩展且细粒度的三阶段数据处理框架；采用创新的MoE全对多通信和计算重叠配方提高计算效率；以开源形式发布中间训练检查点，促进大型模型动力学的理解和LLM领域的创新。

关键观点3: 模型的动力学和效果评估

dots.llm1在中文和英文的多个基准测试中表现出色；在数学表现上，dots.llm1.inst在AIME24上获得33.1分，凸显高级问题解决能力；在C-Eval上达到92.2分，超过包括DeepSeek-V3在内的所有模型。

关键观点4: 模型的后训练和微调

团队在后训练阶段对模型进行了监督微调；使用指令调优实例进行微调，提高模型在关键领域的性能；通过拒绝采样微调（RFT）增强模型在特定领域的能力。