强化学习中 Sim-to-Real 方法综述：基础模型的进展、前景和挑战

文章预览

25年2月来自 Arizona State U 的论文“A Survey of Sim-to-Real Methods in RL: Progress, Prospects and Challenges with Foundation Models”。 深度强化学习 (RL) 已被探索并证实可有效解决机器人、交通、推荐系统等各个领域的决策任务。它从与环境的交互中学习，并使用收集的经验更新策略。然而，由于现实世界数据有限，采取有害行动的后果难以承受，RL 策略的学习主要局限于模拟器中。这种做法保证学习的安全性，但在部署方面不可避免地引入模拟-到-现实的差距，从而导致性能下降和执行风险。人们尝试使用各种技术来解决不同领域的模拟-到-现实问题，尤其是在大型基础或语言模型等新兴技术的时代，这些技术为模拟-到-现实带来启示。这篇综述论文从马尔可夫决策过程的关键要素（状态、动作、转换和奖励）构建模拟-到-现实技术的分类。基于该框架，涵盖从经典到 ………………………………