以小博大！Nanbeige4-3B重磅开源：硬刚Qwen3，挑战小模型能力新高度

主要观点总结

近日，Boss直聘南北阁大模型实验室发布了名为Nanbeige4-3B的小模型，该模型参数量小、推理速度快、部署成本低，并在多个任务上表现出强大的能力。该模型通过预训练和后训练两个阶段进行优化，采用Hybrid数据筛选体系、细粒度WSD调度器、推敲式生成等方法提高效果。在多个高难度任务上，Nanbeige4-3B表现出卓越的推理能力和工具调用能力，超越了许多大型模型。该模型的开源版本已发布，供公众下载和评估。

关键观点总结

关键观点1: 模型概述

Nanbeige4-3B是一个小语言模型，仅30亿参数，通过预训练和后训练两个阶段进行优化，旨在提高小规模参数下的能力上限。

关键观点2: 预训练阶段

Nanbeige4-3B使用Hybrid数据筛选体系精准筛选高质量训练数据，并采用细粒度WSD调度器高效利用高质量数据。实验表明，这种预训练策略能够显著提升模型效果。

关键观点3: 后训练阶段

在后训练阶段，Nanbeige4-3B采用Cold-Start SFT建立基础推理能力，然后通过Overall SFT提升多任务泛化性。此外，模型还通过蒸馏和强化学习进一步提升效果。实验表明，这些策略均能有效提升模型性能。

关键观点4: 模型效果

Nanbeige4-3B在高难度数学推理任务、科学领域以及工具调用任务上均表现出卓越性能，超越了许多大型模型。此外，该模型还具备强大的人类偏好对齐能力。

关键观点5: 模型开源

Nanbeige4-3B的Base模型、Thinking模型和技术报告已完全开源，供公众下载和评估。