看啥推荐读物
专栏名称: 新智元
智能+中国主平台,致力于推动中国从互联网+迈向智能+新纪元。重点关注人工智能、机器人等前沿领域发展,关注人机融合、人工智能和机器人革命对人类社会与文明进化的影响,领航中国新智能时代。
今天看啥  ›  专栏  ›  新智元

OpenAI把微软电网搞崩!GPT-6被曝25年发布,训练刷爆10万张H100

新智元  · 公众号  · AI  · 2024-03-27 13:14
  新智元报道  编辑:编辑部【新智元导读】GPT-5还未发布,GPT-6已经在路上了?微软工程师曝出,为GPT-6搭建10万个H100训练集群,整个电网却被搞崩。通往AGI大关,还需要破解电力难题。GPT-6也被电力卡脖子了——部署十万个H100时,整个电网发生了崩溃!就在刚刚,微软工程师爆料,10万个H100基建正在紧锣密鼓地建设中,目的就是训练GPT-6。微软工程师吐槽说,团队在部署跨区域GPU间的infiniband级别链接时遇到了困难。Corbitt:为何不考虑直接将所有设备部署在同一个地区呢?微软工程师:这确实是我们最初的方案。但问题是,一旦我们在同一个州部署超过100,000个H100 GPU,电网就会因无法负荷而崩溃。这是创业者Kyle Corbitt在社交媒体上,分享自己与一位微软工程师关于GPT-6训练集群项目的对话没想到,GPT-5还没发,微软就已悄悄为OpenAI开始训练GPT-6了 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照