AI服务器专家交流纪要

Q：国内对英伟达的推理卡，比如A30、A40以及L40的需求量有多大？A：国内对英伟达的各类推理卡需求量很大。A30、A40包括L40这类卡，在推理应用场景中的需求量至少有10万片以上。尤其是随着各种应用场景落地和大量小模型的部署，这些卡的需求量会进一步上升。目前，对于可销售的A40、A10，包括L20，甚至H20等卡片，已经有较高的需求，我们已经从用户那里收集到了一些订单需求。           Q：现在英伟达的训练卡和推理卡的供应情况是怎样的？24年的市场形势预测是什么？A：目前国内能够获取的英伟达的主要产品为H20和L20卡。H20是基于 hopper架构，具有96G的HBM3缓存。它与H100使用相同的芯片组和缓存组，显存甚至比H100的80G更大。H20支持4TB/s的GPU内存速率，尤其在单晶训练方面的性能出色，主要用于推理工作。另一方面，L20的显存则是H20的一半，而 ………………………………