英伟达Blackwell称霸MLPerf！推理性能暴涨30倍，新一代「AI怪兽」诞生

文章预览

大语言模型（LLM）推理是一个全栈挑战。 为了实现高吞吐量、低延迟的性能，不仅需要强大的GPU，还需要高带宽的芯片互连技术、高效的加速库以及高度优化的推理引擎。 就在刚刚，MLCommons发布了基准测试套件MLPerf Inference v4.1的最新测试结果，此次发布涵盖了专家混合（MoE）模型架构的首次评测结果，展示了与推理功耗相关的新发现。 MLCommons在最新的AI基准测试中添加了MoE模型 MLPerf是一个流行且得到广泛认可的测试套件，以架构中立、具有代表性和可重复的方式提供机器学习系统的性能基准测试，每年更新两次 本轮测试的参赛者如下： AMD MI300x加速器（已上市） AMD EPYC 「Turin」 CPU（预览版） Google 「Trillium」 TPUv6e加速器（预览版） Intel 「Granite Rapids」 Xeon CPU（预览版） NVIDIA 「Blackwell」 B200加速器（预览版） UntetherAI SpeedAI 240 Slim（已上市）和Speed ………………………………