论文解读 | EMNLP2024 一种用于大语言模型版本更新的学习率路径切换训练范式

文章预览

点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入！ 点击  阅读原文  观看作者讲解回放！ 作者简介 王志豪 ，厦门大学博士生 刘诗雨 ，厦门大学硕士生 内容简介 新数据的不断涌现使版本更新成为大型语言模型（LLMs）不可或缺的需求。LLMs的版本更新训练范式包括从头预训练（PTFS）和继续预训练（CPT）。初步实验表明，PTFS在预训练性能上表现更好，而CPT的训练成本较低。此外，随着版本更新的进行，两种范式的性能和训练成本差距逐渐扩大。为探究这一现象的根本原因，作者分析了学习率对CPT的两个阶段的影响：准备初始化参数（checkpoint）和基于该checkpoint的继续预训练。研究表明，在第一阶段中使用较大学习率以及在第二阶段中使用具有完整率衰减过程的学习率对于LLMs的版本更新至关重要。因此，作者提出了一种基于学习率路径切换的训 ………………………………