EMNLP 2024 | 大模型对齐中的低冗余优化

文章预览

©  作者｜陈志朋 机构｜中国人民大学 研究方向｜大语言模型 低冗余优化是大语言模型（LLM）对齐训练中的一项关键挑战。本文提出了一种新方法——ALLO，通过优化最相关的神经元以减少训练过程中的冗余。具体而言，ALLO首先基于梯度变化识别关键神经元，随后将对齐训练分为“遗忘”与“学习”两阶段：遗忘阶段利用词元级别的监督信号消除模型中的错误知识，学习阶段通过精细标注数据提升对齐能力。在问答、数学推理和指令跟随三大任务的实验中，ALLO显著优于现有方法，如DPO，展现出对齐性能的最大9.7%提升。 文章也同步发布在  AI   Box  知乎专栏（知乎搜索 AIBox专栏），欢迎大家在知乎专栏的文章下方评论留言，交流探讨！ 论文题目：Not Everything is All You Need: Toward Low-Redundant Optimization for Large Language Model Alignment 论文链接：https://arxiv.org/ ………………………………