淘天算法工程师玩转《黑神话》，多模态大模型如何成为天命AI

主要观点总结

研究团队在电子游戏《黑神话：悟空》上应用了基于多模态大模型（VLM）的代理框架VARP，解决了传统方法在处理游戏内环境和动作数据方面的限制。VARP代理框架包括动作规划系统和人类指导的轨迹系统，并能通过纯视觉输入进行决策。研究结果表明，VARP代理在简单和中等难度级别的战斗场景中取得了90%的成功率。此外，该团队还探讨了VARP代理的潜力，并展示了其在未来推广到更多动作游戏和其他场景的可能性。同时，团队提供了一个人类操作数据集，为未来研究提供了资源。

关键观点总结

关键观点1: 研究背景与目的

随着基于大型语言模型（LLM）的Agent在各个领域取得进展，研究团队选择将《黑神话：悟空》作为研究平台，探索现有多模态大模型在仅需要纯视觉输入和复杂动作输出的场景中的能力边界。

关键观点2: VARP代理框架介绍

VARP代理框架由动作规划系统和人类指导的轨迹系统组成，能够通过视觉输入进行决策，并展示了在90%的简单和中等难度级别的战斗场景中的成功应用。

关键观点3: VARP代理框架的技术特点

VARP代理框架包括动作规划系统和人类引导系统，其中动作规划系统负责动作推理和生成，而人类引导系统则利用人类的先验知识来指导代理完成更复杂的任务。此外，技术团队还引入了可分解的任务辅助模块和自我优化动作生成模块，以提高代理的性能。

关键观点4: 实验评估与结果

VARP代理在简单和中等难度的战斗场景中取得了90%的成功率。然而，在更复杂的任务中，如自主寻路和对抗困难敌人时，VARP代理的表现仍然有待提高。

关键观点5: 研究的局限性与未来展望

虽然VARP代理在游戏任务中取得了显著进展，但在某些方面仍然存在局限性，如3D场景感知和先验知识的处理。未来，研究团队计划将VARP代理进一步推广到更多类似的动作游戏和其他场景，并探索使用多模态检索增强生成、模仿学习和强化学习等技术来提高其性能。