主要观点总结
本文介绍了在人工智能领域大语言模型产出贴合人类偏好内容的问题中，直接偏好优化（DPO）方法的衍生变体DPO-Shift的策略。文章指出DPO训练中出现的似然位移问题，并提出在Bradley-Terry模型的拒绝响应奖励前增设参数函数，以缓解该问题。通过一系列实验验证，DPO-Shift方法能够显著缓解似然位移问题，并在下游任务测试中展现出超越DPO的性能。
关键观点总结
关键观点1: DPO训练中的似然位移问题
在DPO训练过程中，选定响应与拒绝响应的概率会同步下降，导致模型对那些既未被明确偏好也未遭坚决拒绝的响应赋予意外升高的概率，这种现象被称为似然位移。
关键观点2: DPO-Shift方法的提出
为了缓解似然位移问题，本文提出了在Bradley-Terry模型的拒绝响应奖励前增设参数函数的策略，以此削弱语义相似响应间的对抗性。
关键观点3: DPO-Shift方法的有效性验证
本文通过一系列实验验证了DPO-Shift方法的有效性，该方法能够显著缓解似然位移问题，并在下游任务测试中展现出超越DPO的性能。同时，通过科学合理地设置参数函数，模型可以在响应概率与奖励准确性间实现灵活、可控的权衡。
关键观点4: 分享内容
机器之心线上分享邀请华南理工大学在读研究生杨晞亮介绍DPO-Shift方法。分享主题包括DPO方法中的似然位移问题，DPO-Shift方法的原理、实验验证以及在下游任务中的优越性。同时还提供了论文链接和项目链接。
文章预览
在人工智能领域，如何引导大语言模型产出贴合人类偏好的内容，已成为备受瞩目的研究焦点。强化学习从人类反馈中学习（RLHF）作为该领域的重要方法之一，虽成效显著，但也暴露出多阶段优化流程复杂、计算负担沉重等弊端。而直接偏好优化（DPO）及其衍生变体作为离线算法，凭借简单易用、稳定性强等优势，近来广受关注。 DPO主要通过最大化选定响应与拒绝响应间的奖励差距，来实现对模型的高效训练。不过，在DPO训练过程中，一种名为似然位移的现象逐渐浮现：选定响应与拒绝响应的概率往往同步下降，致使模型对那些既未被明确偏好、也未遭坚决拒绝的响应，赋予了意外升高的概率。 当前研究普遍将这一现象归咎于模型容量局限、训练样本特性等因素。 本文通过观察当今广泛应用于模型微调的数据集，发现选定响应与拒绝响应在内容
………………………………
