终极「揭秘」：GPT-4模型架构、训练成本、数据集信息都被扒出来了

机器之心报道机器之心编辑部一直以来，大家都对 GPT-4 的模型架构、基础设施、训练数据集、成本等信息非常好奇。奈何 OpenAI 嘴太严，很长时间以来，大家也都只是猜测这些数据。不久之前，「天才黑客」乔治・霍兹（George Hotz）在接受一家名为 Latent Space 的 AI 技术播客采访时透露出一个小道消息，称 GPT-4 是由 8 个混合专家模型组成的集成系统，每个专家模型都有 2200 亿个参数（比 GPT-3 的 1750 亿参数量略多一些），并且这些模型经过了针对不同数据和任务分布的训练。虽然此消息无法验证，但其流传度非常高，也被部分业内人士认为非常合理。最近，更多的消息似乎被泄露了出来。今日，SemiAnalysis 发布了一篇付费订阅的内容，「揭秘」了有关 GPT-4 的更多信息。文章称，他们从许多来源收集了大量有关 GPT-4 的信息，包括模型架构、训练基础设施 ………………………………