专栏名称: oldpan博客
老潘的博客,程序员眸中的fantasy life,分享AI技术干货,让大家少走弯路~
今天看啥  ›  专栏  ›  oldpan博客

和满血R1性能一样的推理QWQ-32B开源,部署成本拉低一大截

oldpan博客  · 公众号  ·  · 2025-03-06 08:55
    

文章预览

  QWQ-32B开源了,性能与具备671B的DeepSeek-R1很接近,有点夸张,利好个人玩家和小公司。 从年前deepseek开源r1模型,大家都在研究如何个人部署DeepSeek-r1,各种一体机也拿部署DeepSeek为卖点,各种推理库也在积极适配(Sglang、vLLM、Ktransforms),甚至AMD(AI MAX 395+)和苹果都在拿能部署deepseek为卖点: 昨晚apple偷偷发布的512G 共享内存的m3ultra 昨晚发布的M3Ultra-512G版本,理论上可以部署满血DeepSeeK-R1-671B-INT4,不过现在不需要这么折腾钱了。 因为有了QWQ-32B。 下图是QWQ-32B各个不同的基准测试数据。能看出来,绝大部分测试中,QWQ-32B的能力直接超越了满血的DeepSeek-R1、OpenAI-o1-mini。但部署成本大大下降。 QWQ-32B指标 大规模强化学习(RL)有潜力超越传统的预训练和后训练方法来提升模型性能。近期的研究表明,强化学习可以显著提高模型的推理能力。例如,DeepS ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览