老婆饼里没有老婆，RLHF里也没有真正的RL

主要观点总结

这篇文章讨论了基于人类反馈的强化学习（RLHF）和其他类似方法在为大型语言模型（LLM）带来真正的强化学习（RL）方面的局限性。文章指出，这些方法主要关注即时反馈，缺乏在动态环境中进行多步骤策略调整的能力，因此不能赋予LLM真正的目标或意图。文章还讨论了现有方法的局限性，以及未来可能的发展方向，包括更高的样本复杂度、扩展到长期任务和衔接符号与次符号方法。

关键观点总结

关键观点1: RLHF和其他类似方法的主要缺点

缺乏RL的核心特征，如持续的环境交互和长期目标的追求。主要是离线或半离线进行，缺乏实时的环境反馈和策略更新。不能赋予LLM真正的目标或意图，让它们‘想要’赢得游戏。LLM仍然是一个基于上下文预测下一个token的统计系统。

关键观点2: 为什么至今没有大规模地用「真正的RL」训练LLM

因为真正的RL需要稳定、交互式的环境，以及大量计算来运行重复的episode，这对于大规模的LLM来说过于昂贵。此外，文本生成并非天然的「状态-动作转换」环境，定义奖励结构也更为困难。

关键观点3: 最接近给LLM一个「目标」的现有方法

使用提示工程或将多个LLM提示串联成一个循环来构建一个元系统或「智能体」。然而，这些「目标」仍然是从外部协调的，LLM本身不会自发生成或坚持自己的目标。

关键观点4: LLM没有「真正目标」的后果

简化的对齐（在某些方面），更难以委派开放式任务，以及可能错过多步奖励优化所带来的全新策略。但也有积极的一面，例如更大的透明度。

关键观点5: 未来可能的发展方向

更高的样本复杂度、扩展到长期任务，以及衔接符号与次符号方法。同时，也可能引发新的安全和一致性问题。