【伯克利博士论文】以人为中心的奖励设计

文章预览

我们如何引导人工智能体表现出我们期望的行为？引导智能系统行为的一种方式是通过 奖励设计 。通过指定要优化的奖励函数，我们可以利用强化学习（Reinforcement Learning, RL）使智能体从自己的经验和互动中学习。因此，在能够手动指定与预期行为良好对齐的奖励函数的环境中（例如，使用分数作为游戏的奖励），RL取得了巨大的成功。然而，随着我们逐步开发能够在复杂、多样的现实世界中学习更复杂行为的智能系统，奖励设计变得越来越困难且至关重要。为应对此挑战，我们提出，通过纳入新的方式整合人类输入，能够改善奖励信号。 本论文包含两个主要部分：直接利用人类输入进行奖励设计，或间接使用我们对人类的普遍认知进行奖励设计。在第一部分中，我们提出了一个基于人类反馈构建鲁棒奖励模型的框架。我们提出了一种适用于大规 ………………………………