奖励模型过度优化的缩放定律 | 大模型学习多模态而不遗忘纯文本研究 | Xmodel-LM技术报告......

文章预览

前言： 平淡无奇的一天又来了，今天要分享的内容主要是关于模型评估、大模型、数据集构建的，喜欢的小伙伴赶紧去阅读相关论文吧。 1. 直接对齐算法中奖励模型过度优化的缩放定律   标题： Scaling Laws for Reward Model Overoptimization in Direct Alignment Algorithms   机构： 斯坦福大学、德克萨斯大学   相关领域： 奖励模型、RLHF、模型评估   作者： Rafael Rafailov,  Yaswanth Chittepu,  Ryan Park   分析： 本文探讨了直接对齐算法（DDAs）中的奖励模型过度优化问题，特别是在高KL预算下，DDA算法表现出与传统RLHF方法相似的性能退化模式。研究发现，即使在数据集的一个epoch完成之前，DDA方法也可能出现性能恶化。通过广泛的实证实验，本文正式定义并探讨了DDA中的奖励过度优化问题及其在不同目标、训练制度和模型规模下的后果。   地址： https://arxiv.org/pdf/240 ………………………………