文章预览
第一章 Blackwell系列 NVIDIA每一代GPU的计算能力、NVLink、内存持续扩大 英伟达Blackwell GPU支持FP4精度,GB200的FP4计算能力可以达到20P,其计算能力是FP8的两倍,NVlink为3.6TB/s,显存容量为384GB,显存带宽为16TB/s。A100 -> H100: FP16密集计算能力增加了3倍以上,功耗从400W增加到700W。H200 -> B200: FP16密集计算能力增加了2倍以上,功耗从700W增加到1000W。 B200的FP16密集计算能力约为A100的7倍,但功耗只增加了2.5倍。 B200:Blackwe ll为TSMC 4N工艺,B2 0 0采用双芯片封装 B200 GPU:工艺:Blackwell GPU采用TSMC的N4P 技术,H100 GPU采用N4工艺。H100是 一个单芯片(单个完整的半导体单元)封 装,Blackwell GPU是一个多芯片封装, 有2个芯片。计算能力:每个Bl a c kwe ll GPU芯片 的FP8计算能力大约是H100的2.5倍。通信能力:B200为为双芯片架构,两个 芯片之间的通信带宽为10TB/s。连接8个 8层堆叠
………………………………