大模型时代的芯片机遇

本文来自行云集成电路创始人季宇，更被大家熟知的江湖绰号——mackler，本文是mackler最新演讲，非常精彩。如需mackler联系方式，请后台私信（后面也会分享更多产业一线大佬读者的文章，敬请期待！）关于大模型，我们听到的最多的就是Scaling。OpenAI通过多年对Scaling的坚持和激进投入，把模型一步步有效推进到千亿万亿规模，实际上证明了AGI这个非常非常难的问题可以通过Scaling这种路径清晰也简单地多的方式去不断逼近。同时OpenAI也把Scale作为他们组织的核心价值观之一来不断逼近AGI。今天不光模型尺寸在Scale，上下文长度也在剧烈地Scale。这种方法论虽然相比AGI这么宏大的目标而言已经足够简化了，但这背后是同等急剧上升的资源投入，单纯的Scale并不是一个经济性的方案。所以我们看到Sam Altman提到7万亿美元的疯狂计划，大家也经常讨论大模型 ………………………………