强化学习也能预训练？效果可提升20倍，华人新作引爆RL新范式!

主要观点总结

本文主要介绍了强化学习中的预训练-微调模式以及伯克利团队提出的新方法InFOM。该方法不依赖奖励信号，能在多个任务中实现超强迁移，并具备「读心术」级别的推理能力。文章详细阐述了InFOM的原理、方法介绍、结果介绍以及作者介绍。

关键观点总结

关键观点1: 大规模预训练对机器学习的影响

基础模型只需训练一次，之后即便缺乏数据或算力，也能在具体任务上直接适配与微调。从计算机视觉到自然语言处理等多个领域，这种「预训练-微调」的模式已经取得了巨大成功。

关键观点2: 强化学习中的预训练-微调难题

强化学习中的预训练-微调模式效果未被完全验证，因为涉及对时间与意图的推理，必须能够推断当前动作在长期内的影响，并识别出多个用户在执行不同任务时的观察数据。

关键观点3: InFOM方法的原理

InFOM是一种基于生成式AI和流匹配的占据模型，能够处理多种输入类型，如流匹配。该方法将「意图」编码为潜在变量，并通过流匹配预测未来状态的访问概率。

关键观点4: InFOM方法的优势

InFOM在强化学习的预训练与微调任务中表现出色，尤其面对奖励稀疏或半稀疏的复杂任务时，能够通过构建具备表达能力的生成模型，更有效地利用高奖励状态。与现有方法相比，InFOM提供了更简单、更高效的意图推理方式。

关键观点5: InFOM的实验结果

InFOM在多个基准测试中取得了与基线方法相当或更好的性能，尤其是在一些具有挑战性的任务上，如ExORL基准测试中的jaco任务和OGBench基准测试中的基于状态的操作任务。