预训练真的结束了吗？可能没有，而且是以一种新范式出现

文章预览

在近期关于大规模模型与数据规模极限的讨论中，OpenAI 的 Ilya Sutskever 以及 微软研究院的 Shital Shah 都提出了一个值得关注的观点：随着模型不断扩张，数据的质量与多样性会逐渐成为训练的瓶颈，传统的预训练范式可能走向终结。 Ilya Sutskever 在演讲中直言“预训练（as we know it）将会终结”，暗示需要全新的思路来拓展数据边界。Shital Shah 则在社交媒体上更是指出，真实数据的高质量部分是有限的，继续简单堆砌相似数据并不能突破“质量上限”，而合成数据（synthetic data）的潜力尚未被充分发掘。 基于这一背景，今天的arxiv, 一篇关于多模态foundation model构建的文章首次验证了该想法。 论文：Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition 链接：https://arxiv.org/abs/2503.12303 当前多模态大模型（如GPT-4、LLaVA ………………………………