450美元训练一个「o1-preview」？UC伯克利开源32B推理模型Sky-T1，AI社区沸腾了

主要观点总结

文章介绍了加州大学伯克利分校天空计算实验室的研究团队NovaSky发布的Sky-T1-32B-Preview推理模型，该模型具有惊人的开源特性，其训练成本不到450美元。该模型在多个关键基准测试中与OpenAI o1的早期版本相媲美，并且任何人都可以从头开始复制。文章还详细描述了模型的技术细节，包括数据整理过程、训练方法和评估结果，以及一些值得重视的新发现。

关键观点总结

关键观点1: Sky-T1-32B-Preview模型的特点

这是一个具有开源特性的推理模型，训练成本不到450美元，具有与OpenAI o1早期版本相当的性能。

关键观点2: 模型的技术细节

文章详细描述了模型的数据整理过程、训练方法和评估结果。包括使用QwQ-32B-Preview生成训练数据，对数据进行整理、拒绝采样、重新格式化等步骤。使用DeepSpeed Zero-3 offload在8个H100上用19个小时完成模型训练。

关键观点3: 模型的评估结果

Sky-T1在MATH500上的表现优于o1的早期预览版本，但在某些领域如GPQA-Diamond上不如o1预览版。值得注意的是，OpenAI的o1 GA版本比预览版更强大，并且未来会有性能更佳的推理模型发布。

关键观点4: 研究团队的新发现

模型的大小和数据混合对于模型的性能有很大影响。较小的模型会生成重复内容，而均衡的数据混合可以使模型在多个领域都表现出色。