沉寂一个月，openPangu性能飙升8%！华为1B开源模型来了

主要观点总结

华为发布了专为昇腾端侧硬件打造的高性能语言模型openPangu Embedded-1B，该模型在端侧设备上实现了强大的AI能力。通过软硬件协同设计、多阶段训练策略、离线On-Policy知识蒸馏和多源奖励强化学习等技术，该模型在多个权威基准上实现了SOTA纪录，为资源受限的边缘设备带来了前所未有的智能水平。

关键观点总结

关键观点1: openPangu Embedded-1B模型的特点

10亿参数，通过软硬件协同设计降低推理延迟，提升资源利用率。采用多阶段训练策略，包括课程学习式微调、离线On-Policy蒸馏和多源奖励强化学习等，大幅增强各类任务表现。在多个权威基准上实现SOTA纪录，展现出出色的参数效率。

关键观点2: 软硬件协同设计的优势

通过软硬件协同设计，openPangu Embedded-1B模型在推理效率和模型深度之间找到了理想平衡点。与相近规模模型的推理延迟基准测试结果显示，该模型在Atlas 200I A2硬件上具有显著的速度优势。

关键观点3: 多阶段训练策略的重要性

多阶段训练策略使模型具备理性思维，通过构建坚实的推理地基和激发内化的快速直觉，模型在通用任务上的表现全面提升。离线On-Policy知识蒸馏和多源奖励强化学习等方法进一步提升了模型的准确率和泛化能力。

关键观点4: 自适应快慢融合策略的展望

openPangu研发团队正在探索让大模型的快思考和慢思考融为一体的新方向。通过自适应的快慢融合策略，模型可以根据问题难度自动选择简单问题快速作答或复杂问题深入推理后再作答，为行业应用带来双优的AI能力。