大模型推理算力建设，您准备好了吗？

我北京，2024年4月26日——根据IDC对于企业部署生成式AI的调研，在未来1年内，超过1/3的组织将投资GPU来微调和生成AI模型。也就是说，AI算力的建设将迎来新的高峰。然而大部分中国企业对于AI算力能力的了解并不深入，也就很难对后续的运维、运营服务以及所需要的能耗作全面前瞻的考量：市场需要建立算力建设、验收与运营的评估标准。生成式AI基础设施采用现状在过去数年传统AI的浪潮中，AI公有云服务的部署方式占整体市场规模的比例一直在不断提升，从2017年的7.6%到2022年的17.9%，可以说AI云服务驱动了人工智能产业的增长。而在大模型时代，IDC观察到，现阶段本地训练与部署的方式似乎更受用户青睐。如下图所示，训练传统AI，有53.2%的受访者表示会在公有云上进行，而训练生成式AI，52.7%的受访者表示是在私有云上进行。对于AI的部署，大部 ………………………………