比知识蒸馏好用，田渊栋等提出连续概念混合，再度革新Transformer预训练框架

文章预览

来源 ：人工智能前沿讲习 本文 约2500字 ，建议阅读 5分钟 本文介介绍了Transformer预训练框架。 来自 Meta 等机构的研究者提出了一种新颖且高效的预训练框架：连续概念混合（Continuous Concept Mixing, CoCoMix），其将离散的下一个 token 预测与连续概念相结合。 近年来，大型语言模型（LLMs）的进展彻底改变了自然语言处理领域，并因此成为各种现实应用中的核心技术，例如代码助手、搜索引擎和个人 AI 助手。 这些突破的核心在于对「下一个 token 预测」的范式。 然而，自然语言 token 代表的意思通常是表层的（例如 the 或 a 这样的功能性词汇），需要模型进行大量训练才能获得高级推理和对概念的理解能力，同时也限制了它们处理长期任务（如规划）的能力。 为了解决这一问题，最近的研究探索了超越 token 层面信号的方法。例如有研究表明稀疏自编码器 ………………………………