ALPINE: 揭示自回归学习在语言模型中的规划能力 | 小型LLMs也可以通过领域特定的自回归训练方法实现专家级性能！

文章预览

前言： 平淡无奇的一天又来了，今天要分享的内容主要是关于大语言模型、LLMs、Transformer的，喜欢的小伙伴赶紧去阅读相关论文吧。 1. ALPINE: 揭示自回归学习在语言模型中的规划能力   标题： ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models   机构： 哈佛大学、北京大学、南加州大学   相关领域： 模型结构改进   作者： Siwei Wang, Yifei Shen, Shi Feng, Haoran Sun, Shang-Hua Teng, Wei Chen   分析： 作者在这篇论文中研究了基于Transformer的语言模型在规划能力方面的表现。他们将规划抽象为网络路径查找任务，通过将邻接和可达性矩阵嵌入到权重中，展示了Transformer可以执行路径查找。作者的理论分析揭示了Transformer具有学习邻接矩阵和有限形式可达性矩阵的能力。实验验证了这一观点，结果表明Transformer确实学习了邻接矩阵和不完整的可达 ………………………………