为什么你(可能)不应该使用强化学习

主要观点总结

文章主要介绍了强化学习技术在应用过程中可能面临的问题和挑战，包括结果嘈杂、超参数调整困难、仍在研究和开发阶段、难以调试、学习无效率、模拟到实际的差距、不可预测性和无法解释性等问题。文章作者是Josiah Coad，前Facebook/Tesla软件工程师，现任Marky创始人和CEO。

关键观点总结

关键观点1: 强化学习结果嘈杂，难以比较算法和超参数设置。

小的随机初始化变化就可能极大地影响训练性能，难以重现实验结果。

关键观点2: 强化学习超参数调整困难。

当前市场上最成功的算法之一是Soft Actor-Critic (SAC)，它有近20个需要调整的超参数。此外，还有大量特定于强化学习的超参数和奖励塑形形式的超参数。调整其中任何一个都可能非常困难。

关键观点3: 强化学习仍在研究和开发阶段。

强化学习实际上还处于萌芽阶段，研究界仍在解决如何验证和分享新进展的问题。论文在实现细节上含糊不清，难以将结果与他人在线上的结果进行比较。

关键观点4: 强化学习代码难以调试。

最新的强化学习方法使用了大量复杂的技术，使得编写整洁的代码和追踪他人或自己的代码变得困难。此外，由于有太多的移动部件，很容易引入bug但却很难找到。

关键观点5: 强化学习极度无效率。

无模型学习意味着我们必须与环境大量互动才能学习一个策略。学习过程需要大量时间，例如在模拟器的环境中训练一辆车可能需要约3-5天。

关键观点6: 模拟到实际的差距明显。

即使智能体在模拟器中表现良好，也不一定意味着它会成功应用于现实世界中。模拟器与真实环境之间的差距可能会导致问题。

关键观点7: 强化学习存在不可预测性和无法解释性。

即使是经过良好训练的强化学习智能体，在野外也可能表现出不可预测的行为。在自动驾驶或机器人技术等领域，强化学习智能体可能会做出灾难性的控制决策，而我们不知道确切原因。

免责声明