【CMU博士论文】在核聚变应用中推进基于模型的强化学习

文章预览

强化学习（RL）可能是克服以前无法克服的障碍，实现技术和科学创新的关键。在托卡马克控制中，RL可能会产生重大影响。托卡马克是将核聚变变为可行能源的最有前途的装置之一。它们通过磁性约束等离子体来运行；然而，长时间和高压下维持等离子体仍然是托卡马克控制领域的一个挑战。RL可能能够学会如何维持等离子体，但像许多令人兴奋的RL应用一样，在真实装置上收集数据以学习策略是不可行的。 在本论文中，我们探索了使用环境替代模型来学习策略，尤其是使用从离线数据源中学习的替代模型。首先在第一部分中，我们研究了在拥有可以生成数据的模拟器的情况下，但由于模拟器计算量太大，无法使用数据需求量大的深度RL算法的情景。我们建议使用贝叶斯优化算法来学习这种策略。接下来，我们转向可以使用离线数据学习环境替代 ………………………………