​前谷歌大佬离职创业，不到一年造出GPT3.5和Gemini Pro，惨痛忠告：GPU简直菜鸡，就像是买彩票！

↓推荐关注↓转自：51CTO技术栈 - 云昭你敢相信吗？一位前谷歌大佬，离职成立公司，不到一年，从头训练出了“GPT3.5”/“Gemini Pro”，注意，后者是多模态大模型！ 本文主人公Yi Tay，是一位市面上非常抢手的高性能大模型的大拿。他曾在谷歌Google Brain担任高级研究科学家，专注于大型语言模型和人工智能的研究。在Google任职期间，曾经为业内许多知名的大型语言模型做出了贡献，例如PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard、MUM等。另外，Yi还参与了大型多模态模型如ViT-22B和PaLI-X的研究，负责了新模型PaLM-2和PaLM API的建模工作。去年3月，Yi离开了谷歌，创办了一家大模型公司Reka，一直追求打造出令人惊叹的前沿生成模型。不到一年的时间，从一张卡都没有，到推出了可以匹敌GPT3.5/Gemini Pro的大模型Reka。大模型训练、多模态大模型何其艰难？这期间，究 ………………………………