A100/H100 太贵，何不用 4090？

作者丨李博杰@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/655402388编辑丨极市平台导读 大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。4090 如果极致优化，性价比甚至可以达到 H100 的 2 倍。（长文预警：本文按 Word 计数法 16000 字，按知乎计数法 24000 字）这是一个好问题。先说结论，大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能比 H100 稍高。4090 如果极致优化，性价比甚至可以达到 H100 的 2 倍。事实上，H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。H100A1004090Tensor FP16 算力989 Tflops312 Tflops330 TflopsTensor FP32 算力495 Tflops156 Tflops83 Tflops内存容量80 GB80 GB24 GB内存带宽3.35 TB/s2 TB/s1 TB/s通信带宽900 GB/s900 GB/s64 GB/s通信时延~1 us~1 us~10 us售价$30000~$40000 ………………………………