视频中自监督学习：「我的世界」下指令理解与跟随

文章预览

‍ 本文介绍了北京大学人工智能研究院梁一韬助理教授所带领的 CraftJarvis 团队在「我的世界」环境下探索通用智能体设计的新进展，题为“GROOT: Learning to Follow Instructions by Watching Gameplay Videos”。 该研究的核心目标是探索能否摆脱文本数据的标注以及与环境的在线交互，而是仅通过观看游戏视频的方式来教会智能体理解世界、遵循指令，进而在开放世界下解决无穷的任务。考虑到视频数据广泛分布于互联网，而高质量的“文本-视频”数据对则难以获得，因此团队创新地提出使用一段“参考视频”作为指令的描述形式，并设计一套简洁的架构和自监督训练方法来联合学习指令空间和指令跟随策略。通过在本文提出的 Minecraft SkillForge 基准上进行细致的评测，该方法超过了目前现有的基线方法，并拉近了与人类玩家之间的差距。这对于复杂环境下通用 ………………………………