NAACL 2024 | 阿里提出大语言模型对齐框架Reward Learning on Policy (RLP)

©PaperWeekly 原创 · 作者 | 郎皓单位 | 阿里巴巴论文标题：Fine-Tuning Language Models with Reward Learning on Policy论文作者：郎皓、黄非、李永彬收录会议：NAACL 2024论文链接：https://arxiv.org/abs/2403.19279代码和数据：https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/rlp引言目前，大语言模型（LLMs）在遵循开放域用户指令方面表现出强大能力 [1]。这项能力主要归功于利用人类偏好数据微调预训练大语言模型（Reinforcement Learning from Human Feedback，RLHF）[2]。一个典型的 RLHF 过程包括三个相关步骤 [3]：人类偏好数据搜集、奖励模型学习（reward learning）和策略优化（policy optimization），如下图（top）所示。上述 RLHF 的三个步骤通常先后串行执行。因为策略优化在微调大语言模型过程中改变了其数据分布，导致基于离线数据训练的（fixed）奖励模型存在不准确地分布偏离问题（inacc ………………………………