最新 AGI 暴论：强化学习的「GPT-3 时刻」实现，还需要 1 万年？

主要观点总结

本文探讨了强化学习（RL）模型走向通用智能的一种可能路径——复制训练。文章指出当前RL模型存在的泛化能力差等问题，并提出复制训练是一种能推动RL模型走向GPT-3级别能力跃迁的重要路径。文中介绍了复制训练的核心思想、优势以及挑战。同时，文章还讨论了构建足够多样且可自动评估的RL环境的重要性，以及将RL训练扩展到大规模对于提升模型性能的意义。

关键观点总结

关键观点1: 复制训练作为一种新的训练范式，能让模型在虚拟环境中模拟真实软件的操作过程，任务目标清晰、评分机制明确，同时能大规模自动生成训练数据，非常适合用在RL模型的系统性训练中。

虽然复制训练有优势，但也面临一些挑战，如任务开放性和测试设计挑战，以及构建足够多样且可自动评估的RL环境的困难。

关键观点2: 文章认为RL也将迎来其“GPT-3时刻”，即训练方式将从少数环境中微调转向在成千上万种多样化环境中进行大规模训练，以培育出具备few-shot能力与任务无关泛化能力的智能体。

为实现这一跃迁，必须构建出规模和多样性远超当前水平的训练环境。而复制训练是实现这一点的关键训练范式。

关键观点3: 复制训练的核心是让AI模型复现已有的软件产品或其中的某些功能，具有评估直接客观的优势。通过这种方式，模型可以得到锻炼各项能力的机会，如准确阅读并理解技术文档、严格遵循规范执行指令等。

此外，复制训练还有助于模型积累成千上万年级别的任务经验，进而具备稳健、任务无关的泛化能力。