英伟达再破世界纪录，每秒1000 token！刚刚，全球最快Llama 4诞生

文章预览

   新智元报道   编辑：编辑部 XZH 【新智元导读】 英伟达，亲手打破了自己的天花板！刚刚，Blackwell单用户每秒突破了1000个token，在Llama 4 Maverick模型上，再次创下了AI推理的世界纪录。在官博中，团队放出了不少绝密武器。 你以为，AI推理的速度已经够快了？ 不，英伟达还能再次颠覆你的想象——就在刚刚，他们用Blackwell创下了AI推理的新纪录。 仅仅采用单节点（8颗Blackwell GPU）的DGX B200服务器，英伟达就实现了Llama 4 Maverick模型每秒单用户生成1000个token（TPS/user）的惊人成绩！ 单节点使用8块B200 GPU 这项速度记录，由AI基准测试服务Artificial Analysis独立测量。 而且，更令人咋舌的是，单台服务器（GB200 NVL72，配备72颗Blackwell GPU）的整体吞吐量，已经达到了72,000 TPS！ GB200 NVL72液冷机架原型机 这场速度革命的幕后，是一整套精心布局的技术组合拳—— ………………………………