看啥推荐读物
专栏名称: 投资银行在线
投资银行在线 Investment Bank Online,一个资本与项目对接的平台,一个互联网金融的探索者和实践者。
今天看啥  ›  专栏  ›  投资银行在线

OpenAI把微软电网搞崩!GPT-6被曝25年发布,训练刷爆10万张H100

投资银行在线  · 公众号  · 科技投资  · 2024-03-27 15:17
【导读】GPT-5还未发布,GPT-6已经在路上了?微软工程师曝出,为GPT-6搭建10万个H100训练集群,整个电网却被搞崩。通往AGI大关,还需要破解电力难题。GPT-6也被电力卡脖子了——部署十万个H100时,整个电网发生了崩溃!就在刚刚,微软工程师爆料,10万个H100基建正在紧锣密鼓地建设中,目的就是训练GPT-6。微软工程师吐槽说,团队在部署跨区域GPU间的infiniband级别链接时遇到了困难。Corbitt:为何不考虑直接将所有设备部署在同一个地区呢?微软工程师:这确实是我们最初的方案。但问题是,一旦我们在同一个州部署超过100,000个H100 GPU,电网就会因无法负荷而崩溃。这是创业者Kyle Corbitt在社交媒体上,分享自己与一位微软工程师关于GPT-6训练集群项目的对话没想到,GPT-5还没发,微软就已悄悄为OpenAI开始训练GPT-6了。同在今天,一张「OpenAI内部时间线」 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照