英伟达“算力核弹”强在哪里？

训练万亿参数级别的大模型，需要多大规模的算力？在今日凌晨进行的Nvidia GTC 2024主旨演讲中，英伟达创始人兼首席执行官黄仁勋在现场做了一道数学题。以OpenAI最先进的1.8万亿参数大模型为例，该模型需要几万亿的Token进行训练。万亿参数与数万亿的Token相乘，就是训练OpenAI最先进大模型所需的计算规模。黄仁勋现场估算的计算规模为3×1025,如果用一颗petaflop（每秒钟进行1千万亿次运算）量级的GPU进行运算，需要1000年的时间才能完成。另外需要注意的是，在Transformer发明后，大模型的规模正在以惊人的速度扩展，平均每6个月就会翻倍，这意味着万亿级别参数并不是大模型的上限。在这种趋势下，黄仁勋相信，生成式AI的迭代和发展，需要更大的GPU、更快的GPU互连技术、更强大的超级计算机内部连接技术，以及更庞大的超级计算机巨型系统。本次GTC ………………………………