综述 | 强化学习中Transformers 的应用

文章预览

一篇Transformers应用于强化学习的“功能体”综述。 论文地址： https://arxiv.org/pdf/2301.03044 在人工智能领域，Transformers在CV和NLP中都已取得了统治性地位。自然地，研究者们试图将Transformers在有监督学习中的成功复现在强化学习(RL)中，但它面临着由RL本质带来的独特设计难题和挑战。本文试图系统地回顾Transformers应用于RL的动机和进展，对现有工作按Transformers的功能进行分类和讨论，并总结未来前景。 背景与挑战 强化学习(RL)是一种常用且有效的 序列决策方法 。近年来，深度网络的引入更使得深度强化学习(DRL)具有处理更复杂问题的能力。传统的DRL中常采用 CNN、RNN的网络架构 。近年来，Transformers成为监督学习的主流架构，在DRL中采用Transformers也成为火热的研究方向。 但由于RL的本质特性，Transformers应用于DRL仍具有以下难题： RL训练数据的 非平稳性 ………………………………