5%参数比肩DeepSeek满血R1！北大“小”模型靠分合蒸馏，打破推理成本下限

主要观点总结

北京大学杨仝教授团队发布了FairyR1-32B模型，该模型基于DeepSeek-R1-Distill-Qwen-32B基座，通过微调与模型合并技术构建。该模型在参数量大幅减少的情况下，特定任务上实现了与更大模型相当甚至更优的性能。模型已在Huggingface开源，并在多个公开基准测试中表现出竞争力。

关键观点总结

关键观点1: FairyR1-32B模型的特点和优势

基于DeepSeek-R1-Distill-Qwen-32B基座，通过结合微调与模型合并技术构建；在参数量大幅减少的情况下，实现特定任务上的卓越性能；在公开基准测试中展现出竞争力。

关键观点2: FairyR1-32B模型的工作流程

沿用了“分合蒸馏”的研究思路，提出了自我合并、多教师交叉蒸馏、轻蒸馏等方法；数据处理方面进行了优化，包括筛选、结构调整与思维链优化；构建了更具针对性的数学和代码数据集用于训练。

关键观点3: FairyR1-32B模型的实验结果

在AIME 2024、AIME 2025、LiveCodeBench等基准测试上表现出竞争力，与DeepSeek-R1-671B相比，在某些基准上得分更高。初步验证了在有限资源下实现高性能模型的可行性。